Examining the effect of artificial intelligence in relation to students’ academic achievement: A meta-analysis

핵심 요약
첫째, 이 메타분석은 29개 실증 연구(참여자 2,657명)를 종합하여, AI가 학생의 학업 성취도에 통계적으로 유의미한 대효과(large effect)를 보인다는 것을 확인했다(Hedges’ g = 0.924, 95% CI [0.612, 1.235], p < .01).
둘째, 교과 영역이 가장 강력한 조절 변인으로 확인되었으며, 간호교육(g = 2.10), 지리(g = 1.33), 언어학습(g = 1.02)에서 특히 효과가 컸고, 수학과 컴퓨터과학(g = 0.47)에서는 상대적으로 작았다.
셋째, AI 유형(챗봇, 게임화 AI, 지능형 튜터링 등) 간 차이는 통계적으로 유의하지 않아(p = .78), 특정 기술보다는 교수 설계와 맥락이 더 중요함을 시사했다.
넷째, AI의 역할 측면에서 지능형 튜터링과 의사결정 지원(g = 1.20) 역할이 가장 큰 효과를 보였으나 변동성도 높아, 맥락에 따른 최적화가 필요하다.
다섯째, PRISMA 지침에 따른 체계적 문헌고찰과 Hedges’ g를 활용한 효과 크기 산출로 방법론적 엄밀성을 확보했으며, 7개 조절 변인에 대한 포괄적 분석을 수행했다.

배경 및 이론적 맥락
인공지능의 교육적 활용은 지능형 튜터링 시스템에서 최근의 생성형 AI 챗봇에 이르기까지 급속히 확장되어 왔다. 그러나 개별 연구들의 결과는 매우 상이하여, AI가 실제로 학습 성과를 향상시키는지에 대한 종합적 판단이 어려웠다. 기존 메타분석들(Wang & Zhao, 2024; Zheng et al., 2023; Tlili et al., 2023)은 각기 다른 범위와 조절 변인을 다루었으나, 교육 수준, AI 역할, 교과 영역, AI 유형 등을 포괄적으로 동시에 분석한 연구는 부족했다. 이 연구는 이러한 공백을 메우기 위해 가장 광범위한 조절 변인 세트(7개)를 분석하여, AI 교육 효과의 ‘언제, 어디서, 어떻게’에 대한 종합적 답을 제시하고자 했다.

연구 방법론
PRISMA 지침에 따라 6개 학술 데이터베이스(Scopus, Web of Science, APA PsycINFO, Education Full Text, Education Source, ERIC, Social Sciences Full Text)에서 체계적 문헌 검색을 수행했다. 최종적으로 29개 실증 연구가 선정되었으며, 총 2,657명의 참여자가 다양한 교육 수준에 걸쳐 포함되었다. 효과 크기는 Hedges’ g로 산출하고, 7개 조절 변인(교육 수준, AI 역할, 개입 기간, 표본 크기, 학습 전략, 교과 영역, AI 유형)에 대한 하위집단 분석을 실시했다. 출판 편향은 깔대기 도표(funnel plot)로 검토했다.

연구 결과
전체 효과 크기 분석 결과, AI 기술의 지원을 받은 학생들은 전통적 학습 환경의 학생들보다 평균 0.924 표준편차만큼 높은 학업 성취를 보였다. 이는 Cohen의 기준에서 대효과(large effect)에 해당하며, AI가 교육에서 실질적인 차이를 만들어낼 수 있음을 보여준다.

교과 영역은 가장 강력한 조절 변인이었다(χ² = 39.48, p < .01). 간호교육이 g = 2.10으로 가장 큰 효과를 보였고, 지리(g = 1.33), 언어학습(g = 1.02)이 뒤를 이었다. 반면 수학과 컴퓨터과학은 g = 0.47로 상대적으로 작은 효과를 보였다. 이는 AI가 모든 교과에서 균등하게 작동하지 않으며, 교과의 특성에 맞는 AI 활용 전략이 필요함을 시사한다.

AI 유형 간 차이는 통계적으로 유의하지 않았다(χ² = 1.09, p = .78). 챗봇(g = 1.05), 게임화 AI(g = 0.92), 지능형 튜터링 시스템(g = 0.74) 모두 효과적이었다. 이는 특정 AI 기술 자체보다 그것이 어떤 교수 맥락에서 어떤 역할로 활용되느냐가 더 중요하다는 것을 의미한다.

AI 역할 분석에서는 의사결정 지원(g = 1.20)과 학습 지원(g = 0.85) 역할이 높은 효과를 보였으나, 변동성이 커서 맥락 의존적 특성을 드러냈다.

결론 및 의미
이 메타분석은 AI가 학생의 학업 성취도를 의미 있게 향상시킨다는 강력한 실증적 근거를 제공한다. 그러나 이 결과를 ‘힌턴의 역설’ 관점에서 읽으면, 중요한 질문이 남는다. 0.924라는 대효과가 학생들의 진정한 역량 향상을 반영하는 것인지, 아니면 AI에 의한 ‘빌린 유능함’의 결과인지 이 연구만으로는 판단할 수 없다.

특히 시험 성적(academic achievement)이라는 측정 지표는 AI 보조 하에서의 수행 능력을 포착하지만, AI 없이 독립적으로 사고하고 문제를 해결하는 능력은 별도로 측정하지 않는다. 교과 영역별로 효과 크기가 크게 달랐다는 점도 주목할 만한데, 간호교육이나 언어학습처럼 AI가 실습과 피드백을 보완하는 영역에서는 진정한 학습이 일어났을 가능성이 높지만, 다른 영역에서는 인지 외주화의 위험이 공존할 수 있다.

결국 이 연구가 교육자들에게 전하는 메시지는 분명하다. AI는 학업 성취를 높이는 데 효과적이다. 그러나 높은 성적이 곧 깊은 학습을 의미하는 것은 아니다. AI 시대의 교육은 ‘성취도를 높이는 것’을 넘어, ‘성취도를 높이면서도 인지적 자율성을 보존하는 것’이라는 더 복잡한 과제를 안게 되었다.

Dong, L., Tang, X., & Wang, X. (2025). Examining the effect of artificial intelligence in relation to students’ academic achievement: A meta-analysis. Computers and Education: Artificial Intelligence, 8, Article 100400. https://doi.org/10.1016/j.caeai.2025.100400

<AI 활용 내역> Claude. (2026), Claude, [대형언어모델(LLM)]. https://claude.ai/ 논문의 핵심 내용을 요약하고 한국어 리뷰를 작성하는 데 활용했으며, 결과물은 연구자가 최종 검토 후 수정해 블로그에 반영했다.