• 목록

학생 응답 자동 평가 후 피드백 제공
비대면으로 교사의 업무부담은 줄이며 학생의 역량 쑥쑥 키우다

글 | 하민수(강원대학교 교수)

과학적 사고력에서 평생 학습 능력까지 2015 개정 과학과 교육과정에서는 과학 역량을 강조하였다. 사고력, 탐구 능력, 문제해결력, 의사소통능력은 지금뿐만 아니라 미래에도 중요한 역량이다. 우리의 삶을 풍요롭게 만든 많은 과학 지식은 오래전 역량 있는 과학자의 연구 결과의 산물이다. 유용한 과학 지식을 만들고, 만들어진 과학 지식이 우리 삶의 많은 문제를 해결할 수 있도록 역량 중심의 과학 교육은 중요하다.

역량 중심 과학 수업과 서술형 평가

역량 중심의 과학 교육을 위해 필요한 것이 무엇일까? 학생이 논리적이고 독창적으로 사고할 수 있는 기회를 주고, 자신의 논리와 아이디어를 스스로 표현할 수 있도록 하며, 문제를 해결하기 위해 자신의 지식을 활용할 수 있는 기회를 제공해야 된다. 이 관점으로 보았을 때 역량 중심의 교육에서 선택형 평가는 어울리지 않는 평가이다. 선택형 평가는 학생의 수준을 대략적으로 정량화 하여 학생의 지식수준의 등급을 구분하는 데에는 효과적이나 학생의 역량을 진단하거나 과학 역량을 향상시킬 수 있는 연습의 기회를 제공하는 데에는 한계가 있다. 이와 같은 점에서 역량 중심의 과학 학습에서 서술형 평가가 활용되어야 한다.

서술형 평가는 학생의 역량 신장에 중요한 기능을 발휘할 수 있다. 서술형 평가는 학생 스스로 지식과 설명을 구성할 기회를 제공한다. 이 과정에서 학생은 새로운 생각이나 개념을 찾아내어 기존의 것들과 새롭게 조합하는 창의적 과정을 경험할 수 있다. 특히 창의적 문제해결 과정에서 인지 구조 속에 있는 다양한 정보들을 활성화하는데, 이와 같은 정보검색 과정은 선택형 평가에서도 요구되지만 서술형 평가에서는 훨씬 더 요구된다. 학생이 서술형 평가를 지속적으로 수행하게 되면 지식을 회상하거나 검색하는 능력이 발달할 수 있고, 궁극적으로 창의성 계발에서도 큰 효과를 얻을 수 있다.

서술형 평가는 글쓰기 역량과 같은 의사소통역량을 신장시키는데에도 효과적이다. 글쓰기는 지식 구성을 위한 중요한 사고 도구의 역할을 하므로 교과에서 효과적인 교수·학습 전략으로 주목받아 왔다. 서술형 평가는 학생의 글쓰기를 바탕으로 이루어지기 때문에 장기간 서술형 평가를 할 때 글쓰기 능력을 향상될 수 있다. 글쓰기 과정에서 기본적인 문법, 오자와 탈자에 대한 인식, 문장의 형태에 대한 반성적 사고 등 다양한 부가적인 기능도 학습된다. 장기적으로 논리적인 의사소통이 가능해지어, 논리력과 사고력 신장에도 효과적이다.

서술형 평가의 한계와 인공지능의 활용

서술형 평가의 교육적 가치는 높으나, 이것을 교실 현장에 활용하는데에는 여러 어려움이 있다. 먼저 즉각적이고 빠른 피드백의 구현이 어렵다. 또한 피드백을 제공하기 위하여 채점이나 분석과 같은 과정이 필요한데, 이 과정에서 교사의 업무 부담을 증가시키고 있다. 실제로 서술형 채점에서 소요되는 많은 시간과 비용으로 인해 서술형 채점은 교사에게 과중한 업무가 되었으며, 서술형 평가를 반대하는 이유 중 하나이다.

서술형 평가의 일관성을 높이고, 평가에 소요되는 시간과 물리적 비용을 크게 줄일 수 있는 해결책은 인공지능을 활용한 평가이다. 인공지능은 인간이 생성한 자료에서 기계학습으로 모델을 생성하여 새로운 예측을 수행하는 컴퓨터 공학으로, 전문가의 채점을 그대로 모방하여 인간채점과 비슷한 점수를 생성할 수 있다. 최근 이와 같은 방법은 진단의학 등 중요한 의학적 판단에도 널리 활용되고 있으며, 빠르게 발전하는 컴퓨터 공학으로 인공지능에 대한 신뢰가 높아지고 있으며, 따라서 인공지능을 활용한 서술형 자동평가의 활용 가능성도 높아지고 있다. 또한 최근 널리 확산되는 인공지능교육을 통해 인공지능에 대한 대중의 긍정적인 태도 역시 인공지능 자동평가의 확산에 기여를 하고 있다.

서술형 응답에 대한 자동평가는 Ellis Batten Page에 의해 시작되었다. 1960년대 미국 고등학교의 작문 교사가 작문 채점에 대한 업무 부담이 매우 높았다. 전직 영어 교사였고 교육평가 전문가인 Ellis Batten Page은 1964년 하버드대학의 컴퓨터 연구원들의 연구 프로그램에서 아이디어를 얻어 영어 작문의 컴퓨터 자동채점 시스템을 개발하였다. 이후 1980년대 중반 마이크로컴퓨터의 출현과 함께 많은 기술 발전이 이루어지면서 연구가 활발히 진행되었고, 현재는 많은 연구자에 의해 연구되어지고 있다. 또한 인공지능을 활용하여 작문 채점을 자동화한 프로그램은 대부분 학습도구로 진화되었다. PEG 프로그램을 토대로 개발된 PEG Writing(Measurement Incorporated™), 에세이 자동평가 시스템인 IntelliMetric®, e-rater® 모두 자동평가를 바탕으로 글쓰기 학습 도구로 변화하였다. 인공지능 자동평가는 단순히 평가의 효율성을 높이는 기술이 아닌 인공지능 튜너, 비대면 학습 환경의 개선, 맞춤형 학습 등 미래 교육을 앞당길 수 있는 새로운 학습 플랫폼으로 진화할 수 있다.

서술형 평가를 위한 인공지능 시스템

WA3I(Web-based Automated Assessment using Artificial Intelligence)

과정중심평가를 위해 서술형 평가가 늘어나던 2018년 서술형 평가를 지원하기 위한 연구가 시작되었다. 그 결과 개발된 프로그램은 WA3I(Web-based Automated Assessment using Artificial Intelligence)로, 교육부와 한국과학창의재단의 지원으로 개발되었다. 인공지능을 활용하여 학생들의 응답을 자동으로 평가하고, 피드백을 제공하는 온라인 기반의 자동평가 시스템이다. 온라인 주소는 ‘www.wai.best’이다. WA3I에서 학생용으로 입장하면 평가 연습, 학습 평가, 숙제하기, 스스로 평가, 활용 가이드가 있다. ‘평가 연습’은 자신이 문항을 선택하고, 평가 결과를 바로 피드백 받는 기능이다. ‘학습 평가’는 교사가 선택한 문항에 대해 응답한다. 학생의 응답은 자동으로 분석되어 그 결과를 교사에게 제공한다. ‘숙제하기’는 ‘평가 연습’과 유사하나, 문항을 자신이 선택하지 않고 교사가 지정한 문항에 응답하며, 교사는 학생들의 수행 결과를 시스템에서 확인할 수 있다.

[표1] WA3I 시스템의 주요 요소

WA3I의 교사용 시스템으로 입장하면 회원가입과 로그인이 필요하다. ‘문항 선택’ 기능은 문항 뱅크에서 문항을 선택하여 문항지를 만든다. ‘결과 보기’는 학생의 수행 내용을 확인하는 기능이다. 학생 ID별 점수, 각 문항 채점준거별 정답의 비율, 막대그래프 등이 제공된다. WA3I시스템의 사용자 설명은 유튜브 채널에 영상으로 제공되고 있다(https://www.youtube.com/channel/UC8FE7ExuI3tyAzoZ5zE6uVw).

학교 현장 속 교사의 채점 데이터를 활용
WA3I-ML(machine learing)

WA3I 프로그램에는 현재 약 170개 정도의 서술형 문제를 제공하고 있다. 이 중 과학 문항은 약 120개 정도로, 이 문항들로 교실에서 필요한 서술형 문항을 모두 충족할 수 없을 것이다. 인공지능을 활용한 서술형 자동평가는 학생 응답을 수집하고, 수집된 응답을 채점 준거에 따라 채점한 자료를 인공지능에게 학습시켜 모델을 생성하는 과정을 통해 개발된다. 학생의 응답과 교사의 채점 데이터의 경우 인공지능 연구자가 수집하기는 어렵지만, 서술형 평가를 실시하는 교육 현장에서는 쉽게 생성될 수 있다. 따라서 학교 현장에서 생성되는 교사의 채점 데이터를 활용하면 인공지능 평가 모델의 수는 빠르게 늘어날 수 있다. 하지만 채점 모델을 개발하고, 사용하는데 필요한 컴퓨터 프로그래밍 기술을 교사가 학습하여 그 일을 수행하는 것은 쉽지 않다. 가장 효과적인 방법은 교사가 프로그래밍에 대한 지식 없이 간단한 방법으로 채점 모델을 훈련하고 분석할 수 있는 도구를 개발하는 것이다. 이와 같은 목적으로 개발된 시스템이 WA3I-ML이다.

[그림1] WA3I-ML의 지도학습 과정

WA3I-ML은 응답의 자질 추출에 사용한 분석기, 분류기, 웹 개발, 서버로 구분하여 개발하였다. 모델 생성을 위한 훈련 과정, 생성된 모델을 활용하여 응답을 분류하는 예측 과정으로 지도학습의 전 과정을 단계별로 수행할 수 있도록 개발되었다. 프로그래밍에 대한 지식 없이 누구나 쉽게 활용할 수 있도록 개발되었다. 일반적인 텍스트 분석의 용도가 아닌 서술형 응답의 자동평가에만 활용할 수 있도록 개발하여 교육적 목적에 특화되어 설계되었다. 채점 모델 생성을 위하여 분류된 응답(채점 데이터)으로 자질 추출, 모델 훈련, 모델 생성 및 저장의 과정, 생성된 모델을 활용하여 미분류 응답(채점할 응답)을 채점하여 출력하는 과정까지 이어진다. 생성한 모델은 저장하여 나중에 바로 훈련 없이 바로 채점할 수 있다. 현재 http://192.249.18.120/의 주소에서 작동한다. ID와 비밀번호를 입력하면 사용할 수 있으며, 요청하면 제공된다. 컴퓨터에 설치하여 활용하는 것이 아니라 웹기반 클라우드 서비스로, 설치 과정 없이 웹에서 바로 활용할 수 있도록 개발되었다. 따라서 누구나 웹에 접속만 가능한 상황이면 이용할 수 있다.

학습상황 면밀히 검토, 다양한 피드백 제공

인공지능 서술형 자동평가는 학습을 위한 형성평가 도구로 활용이 가능하다. 서술형 자동평가는 비대면 상황에서 학생의 학습관리에 효과적이다. 교사는 학생의 학습 상황을 면밀히 검토할 수 있으며, 다양한 피드백을 제공할 수 있다. 인공지능을 활용하기 때문에 많은 수의 서술형 평가를 실시할 수 있고, 학생의 수준을 자세히 검토할 수 있으며, 서술형 평가를 대비할 수 있도록 많은 연습을 제공할 수 있다. 향후 디지털 교과서와 동영상 강의 등과 연계되면 개별화된 학습 도구로의 변신도 가능하다. 숙제나 자가 평가 등을 하지 않는 학생, 서술형 평가에 의욕이 없는 학생, 학습 발달을 하지 않는 학생을 빠르게 선별할 수 있다. 인공지능 시스템은 사용자가 남기는 데이터를 활용하여 다시 발전하는 특성을 가진다. 교사의 업무부담을 줄이며, 학생의 역량을 키우는 효과적인 방법이 인공지능의 활용이다. 많은 교사가 인공지능 서술형 자동평가 시스템에 관심을 가지고, 사용할 때 다시 인공지능 시스템은 빠르게 발전할 수 있다.

글 | 하민수(강원대학교 교수)

하민수 교수는 강원대학교 과학교육학부에서 생물교육과 인공지능 활용 교육평가를 연구하고 있다. 2013년 오하이오주립대학교에서 인공지능을 활용한 서술형 자동평가에 관한 연구로 박사학위를 받았으며, 뉴욕주립대학교(스토니 브룩)에서 박사후 연구원으로 근무하였다. 학생의 응답에 즉각적인 피드백을 제공하는 학습 시스템 WA3I 시스템, 서술형 응답의 빠른 분석을 위한 SAAI 시스템 등 인공지능을 활용한 서술형 자동평가 연구와 시스템 개발을 수행하고 있다.