핵심 요약
Xie, Zhao, Hong, Duan(2026)은 생성형 AI로 개발한 교육용 게임이 법학 교육에서 학습 성과를 높이는지를 무작위 대조 실험으로 검증한다. Gemini 3 Pro를 활용해 개발한 '각본 추리 역할극 게임(scripted mystery role-playing game, SMRPG)'을 법학부 학생 84명에 적용하고, 실험집단 42명과 통제집단 42명의 사전-사후 지식 검사를 비교한다.
사전검사에서 실험집단은 오히려 낮았다(평균 71.48, SD 8.47 대 통제집단 75.60, SD 8.24). 사후검사에서는 실험집단이 앞섰다(81.98, SD 5.16 대 80.76, SD 4.96). 다만 사후 점수의 원시 격차는 약 1.2점으로 작다.
통계 분석은 공변량분석(ANCOVA)에 의존한다. 사전 점수를 통제한 집단 효과는 F(1,81)=105.61, p<.001, 편 η²=0.566으로 보고된다. 회귀기울기 동질성 가정은 충족(F(1,80)=1.16, p=.284)됐지만 Levene 등분산 검정은 위반(F(1,82)=11.74, p=.001)됐고, 분포 가정에 대한 견고성으로 실시한 Quade 비모수 ANCOVA도 유의했다(F(1,82)=6.05, p=.016). 실험집단 내 군집 구조에 대한 추가 견고성 검토도 이루어졌다.
24명의 심층 면담은 몰입형 학습 환경의 형성 등 게임 경험의 질적 주제를 보고한다. 이 논문은 International Journal of Educational Technology in Higher Education에 게재된 동료심사 논문이며, GenAI로 게임의 각본과 콘텐츠를 개발하는 파이프라인 자체가 연구 대상의 일부다.
배경 및 이론적 맥락
게임 기반 학습은 몰입과 동기를 통해 성과를 높인다는 문헌이 축적되어 있지만, 교육용 게임의 개발 비용이 보급의 걸림돌이었다. 생성형 AI가 시나리오와 각본 작성 비용을 낮추면, 게임 기반 학습의 경제성이 바뀐다. 이 논문은 그 가능성을 법학 교육에서 시험한다.
법학 교육은 사례와 추론 중심이라 추리 역할극과 구조적으로 잘 맞는다. 사전 지식이 다른 학생들이 사건 각본 안에서 법리를 적용하는 형식은, 기존의 강의식 교육이 약한 적용 능력을 직접 겨냥한다.
연구 방법론
설계는 무작위 배정 사전-사후 대조집단 실험이다. 법학부 학생 84명을 실험집단(42명, SMRPG 수업)과 통제집단(42명, 일반 수업)에 배정하고 동일한 지식 검사를 사전과 사후에 실시했다. 게임은 Gemini 3 Pro를 활용해 개발됐다.
분석은 사전 점수를 공변량으로 둔 ANCOVA다. 가정 검정(회귀기울기 동질성, Levene 등분산)을 보고하고, 분포 가정 위반에 대비해 Quade 비모수 ANCOVA로 견고성을 본다. 실험집단의 군집(팀) 구조가 결과에 미치는 영향도 별도로 검토한다. 24명의 면담으로 양적 결과의 경험적 맥락을 보강하는 혼합 연구 설계다.
연구 결과
기술 통계는 기저선 불균형을 보여준다. 무작위 배정에도 실험집단의 사전 평균은 71.48로 통제집단 75.60보다 4.12점 낮았다. 사후 평균은 실험집단 81.98, 통제집단 80.76로 원시 격차는 1.22점이다. 상승 폭으로 보면 실험집단이 약 10.5점, 통제집단이 약 5.2점 올랐다.
ANCOVA는 사전 점수를 통제한 조정 효과를 크게 추정한다. 집단 효과 F(1,81)=105.61, p<.001, 편 η²=0.566이다. 이 큰 효과 크기는 원시 사후 격차(1.22점)가 아니라 기저선 격차(4.12점)를 보정한 조정 평균의 차이에서 나온다. 회귀기울기 동질성은 충족됐다(F(1,80)=1.16, p=.284).
가정 위반과 견고성은 혼재한다. Levene 검정이 유의(F(1,82)=11.74, p=.001)해 분산 동질성은 위반됐지만, 비모수 대안인 Quade ANCOVA도 집단 효과를 지지했다(F(1,82)=6.05, p=.016). 실험집단 내 군집 구조를 고려한 추가 검토도 결론을 유지한다고 저자들은 보고한다.
질적 결과는 양적 결과의 경로를 보여준다. 면담에 참여한 24명의 학생은 게임이 몰입형 학습 환경을 만들었다고 보고했고, 이는 사건 추리 구조가 법리 적용 연습을 자연스럽게 유도했다는 해석을 뒷받침한다.
결론 및 의의
저자들의 해석은 GenAI 보조 게임 학습의 우위다. SMRPG 수업이 통제 수업보다 학습 성과를 유의하게 높였고, GenAI로 개발 비용을 낮춘 게임 기반 학습이 고등 법학 교육에서 실행 가능하고 효과적이라는 것이다.
이론적 기여는 개발 파이프라인과 효과 검증의 결합이다. GenAI로 교육 게임을 만드는 과정과 그 게임의 효과를 같은 연구에서 다뤄, 도구로서의 GenAI와 환경으로서의 게임 학습을 잇는다. 게임 기반 학습 문헌에 법학 맥락의 무작위 실험 증거를 더한다.
기존 연구와의 위치에서 이 논문은 게임 기반 학습의 효과를 비실험 설계로 보고한 연구들을 넘어 무작위 배정과 비모수 견고성 검정까지 갖춘 증거를 제공한다. GenAI 개발 비용 절감이 실제 학습 효과로 이어지는지를 묻는 후속 연구의 출발점이 된다.
우리의 해석은 효과 크기의 독해를 요구한다. 편 η²=0.566은 매우 크지만 원시 사후 격차는 1.22점에 불과하다. 조정 효과의 상당 부분이 기저선 불균형(4.12점)의 보정에서 나오므로, 무작위 배정의 우연으로 생긴 초기 격차가 효과 추정에 새어 들어갔을 가능성을 배제하기 어렵다. 84명의 소표본에서는 이런 우연이 흔하다.
적용 한계도 명확하다. 단일 과목, 단일 학기, 단일 교육기관의 결과이고, 장기 유지 검사나 다른 과목으로의 이전 검사가 없다. 게임 개발자가 곧 연구자인 구조라 신규성 효과와 기대 효과가 통제되지 않았고, GenAI가 만든 콘텐츠의 오류율이나 교사의 검토 부담 같은 개발 비용의 실측도 없다. 다른 과목·다른 규모에서의 재현이 결론의 일반화에 선행해야 한다.
참고문헌
Xie, Z., Zhao, S., Hong, F., & Duan, Z. (2026). GenAI-enabled educational game development: The effects of a scripted mystery role-playing game on students' learning experience and learning outcomes in legal education. International Journal of Educational Technology in Higher Education. https://doi.org/10.1186/s41239-026-00634-5
주: 동료심사를 거친 게재 논문이다. 통계량은 원문의 표와 본문 보고(ANCOVA, Quade 비모수 ANCOVA, 가정 검정)를 그대로 옮겼다.
AI 활용 내역
이 글은 AI(Instinct AI 어시스턴트)를 활용하여 논문의 핵심 내용을 분석·요약하고, 한국어 리뷰 원고를 작성하였습니다. 최종 검토 및 발행은 블로그 운영자가 수행합니다.