• 목록

AI와 함께 다시 묻는 서·논술형 평가
AI는 대체재가 아닌 협력자, 현명한 활용 위한 고민 이어가야

요즘 학교 현장에는 묘한 풍경이 펼쳐진다. 일선 학교에서는 “AI를 활용해 서·논술형 평가를 더 효율적으로 채점하겠다”고 말한다. 경기도교육청의 ‘하이러닝’을 비롯한 여러 플랫폼에서 AI 채점 시스템이 도입되고 있고, 2026년부터는 전 학년으로 확대된다는 보도까지 나왔다. 교사 한 명이 적게는 수십, 많게는 수백 명의 학생을 서·논술형으로 평가해야 하는 물리적 한계가 명백한 이상, AI의 도움을 빌리려는 흐름은 자연스럽다. 그런데 정작 학생들에게는 “AI를 쓰지 말라”고 한다. 한쪽에서는 AI를 평가의 도구로 신뢰하면서 다른 한쪽에서는 학생이 AI를 학습의 도구로 쓰는 것을 금기시하는 이 풍경은, 그 자체로 일관성을 잃은 평가 체제의 단면을 보여준다.

새로운 기술이 속속 등장하는 AI 시대,
서·논술형 평가는 무엇을 평가해야 하는가?

AI에 대한 모순을 한 꺼풀 벗기면 더 본질적인 질문이 드러난다. 우리는 서·논술형 평가로 무엇을 측정하려 하는가? 자주 인용되는 예시 문항 하나를 보자.

“조선 시대의 ‘붕당 정치’가 발생하게 된 배경을 서술하고, 이것이 현대 민주주의의 정당 정치와 어떤 유사점 및 차이점을 가지는지 자신의 의견을 논하시오.”

언뜻 훌륭한 문항이지만, 학생은 교과서에서 외운 내용을 그대로 옮기고 ‘자신의 의견’은 한두 줄만 덧붙여도 만점에 가까운 점수를 받을 수 있다. 논리적 전개 항목조차 교과서 서술을 재구성하는 것으로 충족할 수 있기 때문에 AI 채점 시스템이 ‘지식 이해 20%, 논리적 전개 50%, 창의적 대안 30%’ 같은 루브릭으로 채점한다 해도, 결국 가장 좋은 점수를 받는 학생은 ‘외운 것을 잘 정리해 쓰는 사람’이다. 형식만 서술형일 뿐 사고 과정은 여전히 ‘암기·재생’에 머무는 셈이다.

이 한계는 우연이 아니다. 2022 개정 교육과정의 성취기준이 여전히 ‘내용 도달’을 중심으로 진술되어 있어, 이를 충실히 평가하려고 문항을 설계하다 보면 자연스럽게 ‘교과서를 잘 외워 풀어낼 수 있는 문항’으로 귀결되기 때문이다. 결국 한국의 서·논술형 평가는 채점의 물리적 한계와 성취기준의 구조적 한계라는 두 벽 사이에 끼어 있다. 우리 연구는 바로 이 두 한계가 만나는 지점에서 출발했다.

디지털 선도학교, 충암고에서
시도한 ‘AI를 잘 쓰는 법’

그렇다면 성취기준의 틀을 넘어설 대안은 없을까? 우리가 주목한 것이 바로 IB 교육과정이다. IB는 ‘무엇을 알고 있는가’가 아니라 ‘어떻게 탐구하고 사고하는가’를 평가의 중심에 두며, 과정 중심·다중 증거 기반 평가를 통해 학생의 ‘사고의 이동(shift in thinking)’을 포착한다. 이는 우리가 찾고자 했던 서·논술형 평가의 본래 모습에 가장 가까운 모델이었다.

충암고등학교는 이러한 방향을 우회할 수 없는 자리에 있었다. 2023년 교육부 지정 디지털 선도학교로 출발해 AI·에듀테크 기반 수업을 시도해 왔고, 2024년 IB 탐구 실천팀을 구성한 데 이어 2025년에는 IB 관심학교로 지정되었으며, 1·2학년 전원에게 태블릿 PC(이른바 ‘디벗’)가 보급되어 디지털 인프라도 마련되었다. 다만 학년당 12~13학급, 학급당 평균 27명이라는 일반계 고등학교 규모에서 IB식 과정 평가를 그대로 이식하기에는 채점의 물리적 한계가 여전히 무겁게 작용했다.

이 지점에서 우리 연구팀(충암고 교사 7인)은 한 가지 가설에 도달했다. AI를 1차 분석자, 교사를 고차원 사고 판단자로 역할 분담하는 ‘교사–AI 협력 평가 구조’를 설계하면, IB의 평가 철학을 한국형 대규모 학급에서도 구현할 수 있지 않을까? 나아가 평가 구조가 이렇게 바뀐다면, 학생에게 AI를 금지하는 대신 ‘AI를 잘 쓰는 법’을 가르치고 그 활용 자체를 평가의 일부로 삼는 새로운 길도 열리지 않을까? 이 가설을 검증하기 위해 2025년 한 해 동안 1학기 시범 적용과 2학기 다교과 확장 연구를 수행하였다. 본 글에서는 통합과학과 인공지능 수학, 두 교과의 실제 적용 사례를 중심으로 그 과정을 공유하며, 마지막 장에서는 1년의 운영 끝에 마주한 자기성찰을 정직하게 드러내고자 한다.

7개 차원 루브릭과 교사-AI 협력 평가 구조

연구의 출발은 IB가 한국 학교 현장에서 실제로 어떻게 작동하는지를 확인하는 일이었다. 우리는 2024년 제주 표선고등학교(IB 월드스쿨) 방문 결과를 공유·분석하고, 2025년 1학기에는 대구국제고등학교의 IB 코디네이터와 심층 면담을 진행하며, 서·논술형 평가의 채점 절차와 루브릭 설계 원리, 채점자 간 신뢰도 확보 및 조정(moderation) 방식을 구체적으로 살펴보았다. 이 과정에서 가장 강하게 남은 깨달음은 IB가 “무엇을 썼는가?”가 아니라 “어떻게 거기에 이르렀는가?”를 평가한다는 점이었고, 이 원칙이 이후 모든 설계의 기준점이 되었다.

이 기준점 위에서 연구팀은 IB 평가 지침과 2022 개정 교육과정 문서를 비교 분석한 뒤, AI를 보조 설계 도구로 활용해 루브릭 초안을 작성하고 교원학습공동체 협의를 거쳐 반복적으로 정교화했다. AI는 핵심 용어 정렬, 준거 문언 초안 작성, 수준 기술자 레벨링에서 유용했지만, 학교 맥락에 맞춘 변형은 전적으로 교사 협의의 몫이었다. 그 결과 다음 일곱 차원의 문장형 루브릭이 완성되었다.

차원 핵심 평가 요소

① 탐구 설계 -  문제 재구성, 탐구 가능성 판단, 절차의 논리성
② 자료 활용·출처성 - 출처 신뢰도, 근거 선정, 자료에서 의미 도출
③ 주장-근거-추론(CER) - 주장의 명확성, 근거 선택의 적절성, 논리적 연결
④ 개념 전이·관점 통합 - 새로운 맥락 적용, 대안적 관점의 통합
⑤ 수정·재작성·메타인지 - 자기 점검, 피드백 반영, 사고 이동의 명시화
⑥ 학술적 의사소통 - 문단 구성, 논리 흐름, 학술 어휘
⑦ AI 활용 역량  - 고품질 질문 생성, AI 답변 검증, 재구성 능력

이 가운데 ⑦ 차원은 처음부터 계획된 것이 아니라, 1학기 시범 적용에서 상당수 학생이 AI 답변을 그대로 복사·붙여 제출한 사례를 계기로 추가되었다. ‘AI 시대의 학습자 주도성’을 평가의 명시적 대상으로 끌어올렸다는 점에서, 본 연구가 시행착오 끝에 얻어낸 가장 중요한 기여 중 하나다.

루브릭이 갖춰진 뒤에는 이를 실제 채점에 옮기는 절차가 필요했다. 우리는 두 단계로 구성된 교사–AI 협력 평가 구조를 설계했다. 1단계에서는 AI가 학생이 제출한 다층 증거 ― 탐구 계획서, 자료 카드, 초안–재초안, AI 대화 로그, 자기성찰 기록 ― 를 7개 차원 루브릭에 따라 예비 평정한다. 텍스트 구조 분석, 초안과 재초안 간 수정량·범주 분석, AI 대화 기록에서의 학생 주도성 태깅이 이 단계에서 이뤄진다. 2단계에서는 교사가 AI의 예비 평정을 그대로 수용하지 않고, 사전에 합의된 기준작(앵커 페이퍼)과 비교해 최종 평정을 확정하며, AI와 교사의 판단이 충돌할 때는 교과 협의회의 합의 회의를 거친다.

이 절차로 분석한 결과, AI 예비 평정과 교사 최종 평정 간 일치도(Cohen's kappa)는 차원별로 0.65~0.78 범위에 이르렀다. 특히 ② 자료 활용·출처성과 ⑤ 수정·재작성·메타인지에서 일치도가 높았던 반면, ④ 개념 전이·관점 통합에서는 교사의 정성적 판단이 여전히 우세했다. 이는 AI가 ‘기록·분류·구조 검토’에는 강하지만 ‘개념의 의미론적 전이’를 판단하는 데에는 한계가 있음을 보여주는 동시에, 교사의 자리가 어디서 가장 필요한지를 가리키는 신호이기도 했다.

사례 ① 인공지능수학
스노클AI로 풀이 과정을 평가하다

이런 관점에서 충암고등학교 인공지능수학 수업의 수행평가 사례를 보자. 우리는 ‘스노클AI’라는 도구를 활용해, 학기 중 총 5회에 걸쳐 학생들의 문제 해결 과정을 평가했다. 평가의 핵심은 ‘정답’이 아니라 ‘과정 기록’이었다. 학생들은 TF-IDF, 빈도 벡터, 로그 변환 등 인공지능 수학의 실제 문제를 풀면서, 풀이 과정 전체를 직접 태블릿 PC를 통해 손글씨로 기록해 제출해야 했다. 채점 기준은 다음과 같이 짜였다.

여기서 주목할 점은 두 가지다. 첫째, ‘답이 맞았는지’보다 ‘풀이 과정이 드러나는지’가 더 중요하게 평가된다. 답이 틀려도 사고의 흔적이 명확하면 점수를 받을 수 있고, 반대로 답만 적어서는 좋은 점수를 받을 수 없다. 둘째, AI가 1차 채점을 맡지만, 점수의 최종 의미는 풀이 과정과 함께 교사의 검토를 거쳐 결정되며, 결과는 점수 대신 ‘탁월·성취·발전 중’이라는 성장 단계의 언어로 학생에게 돌아간다.

이 설계의 효과는 분명했다. 학생은 답만 적어서는 좋은 점수를 받을 수 없으니 자기 사고를 글로 풀어내는 훈련을 하게 되고, 교사는 풀이 기록을 통해 학생이 어디서 막혔는지, 어떤 개념이 흔들렸는지를 짚어낼 수 있다. 5회에 걸쳐 누적된 기록은 한 학기 수학적 성장의 궤적이 되며, ‘서술형’은 그제야 글로 답을 쓰는 행위를 넘어 사고를 확장하는 활동으로서 본래의 의미를 회복한다.

사례 ② 통합과학
AI가 ‘인지적 촉매제’가 되는 순간

또 다른 사례는 통합과학에서 나왔다. 한 학생은 효소 반응 실험을 진행하면서 불규칙한 수치 때문에 어려움을 겪었다. 전통적인 평가 방식이었다면 이 학생은 ‘실험에 실패했다’라는 평가를 받았을지도 모른다. 그러나 이번 연구에서는 달랐다.

학생은 AI에게 자신이 얻은 데이터를 어떻게 해석해야 할지 물었다. AI는 그래프를 그려 데이터를 시각화하는 방법을 제안했고, 학생은 그 안내에 따라 변인 간 상관관계를 분석했다. 그 결과 학생은 단순한 ‘오차’로 치부될 수 있던 자료에서 반응 속도 포화 현상이라는 과학적 개념을 스스로 발견하고 설명해 냈다. 이 사례에서 AI는 정답을 제공하는 도구가 아니었다. AI는 학생이 자기 데이터를 다시 들여다보고, 다른 각도에서 해석할 수 있도록 돕는 인지적 촉매제(cognitive catalyst)로 작동했다. 학생의 사고는 ‘수치 기록 → 패턴 발견 → 개념 적용’으로 확장되었고, 그 결과는 단순한 실험 보고서가 아니라 진짜 탐구의 흔적이 되었다.

AI가 일상인 시대,
학생에게 AI를 분리할 수 있을까?

이쯤에서 처음의 모순으로 돌아가자. 교사는 AI로 채점하면서 학생에게는 AI를 금지하는 것이 옳은가? 우리 연구의 답은 분명하다. AI를 쓰지 못하게 하는 것은 답이 아니다. AI가 일상이 된 시대에 학생에게서 AI를 분리하는 평가는 현실과의 괴리만 키우며, 우리가 가르쳐야 할 것은 ‘AI를 쓰지 않는 법’이 아니라 ‘AI를 잘 쓰는 법’이다. 실제로 연구 초기 AI 사용을 허용하자 많은 학생이 생성된 답안을 거의 그대로 제출하는 사고의 외주화가 나타났다. 이에 우리는 ①맥락을 담은 질문 설계, ②AI 답변의 오류·약점을 찾아 수정·보완하는 반박 연습, ③AI 대화 기록의 의무 제출이라는 세 갈래 교육을 도입하고, 그 활용 양상 자체를 7개 차원 루브릭의 마지막 항목인 ‘AI 활용 역량’으로 평가에 포함시켰다.

그러나 이런 평가가 작동하려면 한 가지 전제가 더 필요하다. 절대평가다. 상대평가 아래에서는 변별이 최고 목적이 되고, 탐구의 깊이보다 ‘누가 더 점수 받기 좋은 답을 썼는가?’가 중요해진다. 결국 탐구보고서 형식의 평가는 입시라는 자석 앞에서 형식만 남는다. 진짜 서·논술형 평가는 학생 개개인이 자신의 성장 기준에 도달했는지를 묻는 평가이며, 이는 본질적으로 절대평가의 영역이다. IB가 기준 참조 평가(criterion-referenced assessment)를 택한 이유도 여기에 있다.

마지막으로 솔직히 말해야 할 것이 있다. 우리 연구의 출발점 중 하나는 ‘AI로 교사의 채점 부담을 줄이자’는 것이었지만, 결과는 정반대였다. 부담은 줄지 않았다. 오히려 늘었다. AI 채점 결과를 신뢰하려면 교사가 다시 검토해야 하고, 일치도(Cohen's kappa) 0.65~0.78이라는 수치를 확보하려면 결국 모든 답안을 한 번 더 읽어야 했다. 학생 자료의 수합·분류, AI 대화 기록 검토, 채점 기준의 교사 간 조율 같은 새 작업도 더해졌다. 평가가 풍부해질수록 교사의 전문적 판단이 들어갈 자리는 오히려 더 많아진 셈이다.

이것은 실패의 고백이 아니라 AI의 자리를 정확히 보게 된 발견이다. AI는 교사를 대체하지 않는다. AI는 교사가 더 깊이 일할 수 있도록 옆에 서는 동료이며, 그 동료를 활용하는 데에도 시간과 노력이 든다는 사실을 정직하게 인정해야 한다. 학교 단위 평가 지원 인력, 협력적 중재 채점 구조, 학습 데이터 수합 자동화 인프라 등 이 부담을 어떻게 분산할지가 이제 정책의 과제로 넘어간다.

천승호 교사는 현 충암고등학교 교사이자 서울특별시교육청 AI·에듀테크 선도 교사로 활동 중이다. IB 관심학교 대표 교사를 맡으며 2025년 IB 도입 유공 서울특별시교육감 표창을 받았으며, AI를 활용한 국제공동수업에도 관심이 많아 2025년 동북아 역사 교류 분야 교육부장관 표창을 받았다.