AI의 답을 얼마나 많이 받았는가보다 어떤 답을 왜 수정했는가가 중요하다. 이 연구는 생성형 AI 사용 교육이 대학생의 당일 물리 문제 수정 수행과 상호작용 방식에 미치는 영향을 살펴본다.
핵심 요약
첫째, Huang과 동료들(2026)은 중국 한 대학의 STEM 전공 2학년을 대상으로 구조화된 생성형 AI 교육과 일반 문제 해결 교육을 비교했다. 최종 분석 대상은 95명이다. 두 집단 모두 이후 Doubao를 사용했으므로, AI 사용과 비사용의 차이가 아니라 AI 사용 전 교육 방식의 차이를 평가한 실험이다.
둘째, 45분의 AI 교육을 받은 집단의 AI 보조 수정 후 전자기학 점수는 83.290%, 비교 집단은 74.376%였다. 차이는 약 8.91%포인트이고 효과크기는 d=0.814였다(p<.001). d=.814는 점수가 81.4% 올랐다는 뜻이 아니다.
셋째, 교육 집단은 답을 더 적게 수정하면서 수정의 구성은 더 좋았다. 수정 사례 중 오답에서 정답으로 바뀐 비율은 교육 집단 69.3%, 비교 집단 41.3%였다. 정답에서 오답으로 바뀐 비율은 각각 16.5%, 40.0%였다. 이 비율의 분모는 수정 사례이며 전체 학생이나 전체 문제 수가 아니다.
넷째, 결과는 같은 날 같은 문항을 AI와 함께 다시 푼 수행이다. 장기 기억, AI 없는 독립적 문제 해결, 새로운 과제에 대한 전이를 검증하지 않았다. 좋은 수정 결과와 지속적인 학습을 구분해야 한다.
배경 및 이론적 맥락
논문은 Zimmerman의 자기조절학습 모형과 인지부하 이론을 함께 사용한다. 자기조절학습은 사전 계획, 수행 중 점검, 자기성찰의 과정을 포함한다. AI에 질문하는 행동도 문제의 목표를 정하고, 제안을 검토하고, 결과를 되돌아보는 학습 과정 안에 놓을 수 있다는 관점이다.
인지부하 이론은 제한된 작업기억에서 과제와 수업 설계가 요구하는 정신적 자원을 다룬다. AI가 설명이나 답을 빠르게 제공한다고 해서 학생의 판단 과정이 자동으로 좋아지는 것은 아니다. 이 연구는 AI가 줄여주는 부담뿐 아니라 학생이 검토와 설명에 투입하는 노력을 함께 살펴본다.
저자들은 AI를 정답 제공 장치로만 대하는 방식에서 협력적 도구로 쓰는 방식으로의 변화를 제안한다. 다만 ‘보완성 인식’이나 ‘조정된 신뢰’는 결과를 설명하기 위한 해석과 후속 연구 개념이다. 이 실험이 그런 심리적 변화의 지속성과 매개 과정을 직접 확정한 것은 아니다.
연구 방법론
중국 중부의 한 상위권 대학에서 미적분 기반 기초 물리 수업을 듣는 STEM 전공 2학년 116명을 모집해 두 조건에 무작위 배정했다. 일정 충돌이나 질병 등으로 모든 절차를 마친 학생은 95명이며, 교육 집단 50명과 비교 집단 45명으로 분석했다. 따라서 모집·배정 인원과 완전 자료 분석 인원을 구분해야 한다.
교육 집단은 45분 동안 생성형 AI의 특성과 한계, 자기조절학습 단계별 질문 전략, 오류 대응을 배웠다. 도입 10분, 전략 시연 15분, 실습 20분으로 구성했다. 비교 집단은 같은 시간 구조와 같은 역학 문제를 사용해 일반 문제 해결 전략을 배우고 연습했지만, AI 사용에 대한 교육은 받지 않았다. 이 비교는 대기 집단과의 비교가 아니라 서로 다른 교육 묶음의 비교다.
훈련 뒤 두 집단 모두 32문항의 전기·자기 개념 검사(CSEM)를 검은 펜으로 독립적으로 풀었다. 이후 불확실한 문항에 관해 Doubao와 대화하고 빨간 펜으로 답을 수정했다. 논문이 사전검사라고 부르는 최초 CSEM은 AI와 대화하기 전이지만, 교육 개입 자체보다 앞선 검사는 아니다. 수정 후 점수는 같은 문항의 AI 보조 수행이다.
두 집단의 AI 기능은 기본 채팅과 이미지 업로드로 제한했다. 시스템 프롬프트, 온라인 검색, 고급 플러그인은 사용하지 않았다. 훈련은 역학 문제, 평가는 전자기학 문제로 나누었지만, 이 구분만으로 장기적·독립적 전이가 검증된 것은 아니다.
자기조절학습과 기존 AI 경험을 설문으로 측정하고, 수행 후 인지부하를 자기보고로 평가했다. 집단 차이는 독립표본 t 검정으로, 개인 특성 및 상호작용은 강건 선형모형과 5,000회 부트스트랩으로 분석했다. 대화 기록은 두 연구자가 수정 유형, 대화량, 전략 사용, AI 오류 대응으로 분류했다. 전략 코딩의 Krippendorff α는 .951이었다.
연구 결과
AI 보조 수정 후 CSEM 평균은 교육 집단 83.290%(SD=10.191), 비교 집단 74.376%(SD=11.723)였다. 집단 차이는 t(93)=3.964, p<.001, d=.814였다. 이는 교육 집단의 당일 수정 수행이 더 좋았다는 결과이며, AI를 제거한 후에도 그만큼의 개념 이해가 남았다는 결과는 아니다.
총 수정 사례는 교육 집단 254건, 비교 집단 368건이었다. 학생당 평균은 각각 5.080건과 8.178건이었다. 교육 집단의 수정 수가 더 적었다(p<.001). 수정 사례의 구성은 교육 집단에서 오답→정답 69.3%, 오답→오답 14.2%, 정답→오답 16.5%였다. 비교 집단은 각각 41.3%, 18.7%, 40.0%였다. 원래 틀린 모든 답 중 몇 개가 고쳐졌는지와는 다른 지표다.
교육 집단은 더 많은 대화 차례를 주고받았다(p=.026, d=.465). 문제의 원리를 이해하려는 전략을 한 번 이상 사용한 학생은 교육 집단 42.0%(21명), 비교 집단 20.0%(9명)였다. 새로운 문제를 만들어 보려는 전략은 교육 집단 14.0%(7명), 비교 집단 0%였다. 그러나 이미지 업로드 중심 전략은 두 집단 모두 흔했다. 교육이 모든 학생의 사용 방식을 완전히 바꾼 것은 아니다.
전체 인지부하에는 유의한 집단 차이가 없었다(p=.414). 내재적 인지부하는 교육 집단이 더 높았지만 p=.079로 5% 기준을 넘었다. 학습 관련 부하와 외재적 부하도 유의한 차이가 없었다. 이를 ‘교육이 인지부하를 낮췄다’거나 ‘생산적 고투를 확정했다’로 해석할 수 없다.
강건 모형에서 자기조절학습과 초기 CSEM 점수는 수정 수행과 양의 관련을 보였다. 집단×기존 AI 경험 상호작용은 유의했지만(p=.034), 집단×자기조절학습과 집단×초기 지식 상호작용은 유의하지 않았다. 개인 특성은 무작위로 배정되지 않았으므로 이 관련을 특성의 인과 효과로 읽어서는 안 된다. 기존 AI 경험의 차이를 교육이 완전히 없앴다는 결론도 범위를 넘는다.
결론 및 의의
첫째, 이 연구의 가장 직접적인 의의는 AI 사용을 가르치는 목적을 ‘더 많은 답을 얻는 것’에서 ‘답을 선택적으로 수정하는 것’으로 옮기는 데 있다. 교육 집단은 답을 덜 고쳤지만 수정 후 점수와 수정 사례의 구성이 더 좋았다. 많은 대화나 많은 수정 자체가 성공 지표는 아니다. 다만 이러한 선택성이 장기적인 판단 능력으로 남는지는 후속 검증이 필요하다.
둘째, 오류를 고치는 이익과 정답을 망치는 비용을 함께 봐야 한다. AI와 상의하면 틀린 답이 맞아질 수도 있지만 이미 맞은 답이 틀려질 수도 있다. 비교 집단에서 수정 사례의 40.0%가 정답에서 오답으로 바뀌었다는 결과는 이 비용을 보여준다. 전체 문항의 40%를 망쳤다는 뜻은 아니다. 교육 평가에서도 개선 사례만 세지 말고 불필요한 수정과 오류 도입을 함께 기록할 수 있다.
셋째, 도구 접근과 사용 교육은 다른 개입이다. 두 집단 모두 같은 AI 기능을 썼다. 따라서 이 결과는 AI를 주기만 하면 수행이 좋아진다는 증거가 아니라, 도구를 쓸 때의 준비 방식이 중요할 수 있다는 증거다. 반대로 AI 없는 수업보다 우월하다는 판단도 이 비교로는 할 수 없다. 어떤 대조 조건을 두었는지가 교육 도입의 질문을 결정한다.
넷째, 훈련의 구성 요소별 효과는 아직 분리되지 않았다. AI의 특성 설명, 자기조절 질문 전략, 한계와 오류 대응, 실습이 하나의 묶음으로 제공되었다. 특정 프롬프트 한 문장이나 특정 오류 교정 기법이 효과의 원인이라고 단정할 수 없다. 학교가 일부 요소만 가져올 때에는 전체 묶음의 결과가 그대로 재현될 것으로 가정하지 말고 단계별 비교를 할 필요가 있다.
다섯째, 성공적인 당일 수행을 지속적인 학습과 구분하는 것이 핵심이다. 수정 후 평가는 같은 날 같은 문항에 다시 답하면서 AI를 사용할 수 있는 상태였다. 문항 기억, 잠깐 높아진 주의, 불확실한 문항에 집중한 효과가 섞일 수 있다. 며칠 뒤 새로운 문항을 AI 없이 풀게 해야 독립적 이해가 남았는지 알 수 있다. 논문 자체도 지속적 학습, 개념 변화, 기술 전이를 이 설계로 추론할 수 없다고 명시한다.
여섯째, 대학 수업에서는 답을 바꾸기 전에 근거를 적는 절차를 시험할 수 있다. 학생이 처음 답과 확신 정도를 남기고, AI의 제안을 확인한 뒤 무엇 때문에 수정하거나 유지했는지 설명하는 방식이다. 학생의 판단과 AI의 제안을 구분해서 볼 수 있다는 장점이 있다. 이는 본 실험에서 효과를 직접 검증한 수업 절차가 아니라, 수정 수행을 더 정확히 평가하기 위한 적용 제안이다.
일곱째, AI를 비판적으로 사용한다는 말은 추상적 경고보다 과목별 오류 대응으로 구체화할 수 있다. 논문의 대화 사례에서는 회로 그림이나 그래프를 잘못 읽은 AI를 학생이 바로잡는 장면이 나타났다. 학생이 기초 개념과 시각 자료를 스스로 확인할 수 있어야 이 대응이 가능하다. 이런 사례는 가능한 과정을 보여주지만, 모든 학생이 같은 능력을 얻었다거나 오류 대응이 점수 차이를 매개했다는 증명은 아니다.
여덟째, 정신적 부담의 크기만으로 좋은 교육을 판단해서는 안 된다. 총 인지부하의 차이는 유의하지 않았고 내재적 부하의 증가는 잠정적이었다. 더 많이 생각하는 느낌이 깊은 이해를 뜻할 수도 있지만 어려움이나 혼란을 뜻할 수도 있다. ‘부하를 높이면 좋다’ 또는 ‘AI가 부담을 없애야 한다’는 단순한 설계 원칙 대신, 실제 오류 검토와 독립적 수행을 함께 측정해야 한다.
아홉째, 상호작용 방식의 변화에는 여러 설명이 남는다. 학생이 AI를 더 정확히 신뢰하게 되었을 수도 있고, 훈련에서 본 절차를 당일 따라 했을 수도 있으며, 확신이 있을 때만 수정했을 수도 있다. 연구는 조정된 신뢰와 선택 효과를 충분히 구분하지 못했다고 인정한다. 새로운 과제, 수정 전 확신 평가, 시간이 지난 뒤의 관찰을 추가하면 학습자의 내적 판단이 달라졌는지 더 잘 알 수 있다.
열째, 일반화의 범위는 제한적이다. 분석 대상은 한 중국 대학의 STEM 2학년 95명이고, 모집한 116명 중 21명은 완전 자료 분석에 포함되지 않았다. 작은 완결 표본과 특정 과목·도구·문화적 사용 습관의 결과를 한국 대학 전체나 다른 전공에 바로 적용할 수 없다. 무작위 배정은 도움이 되지만, 탈락과 집단별 조건의 세부 차이, 단일 도구의 변화에 관한 검토도 필요하다.
열한째, 졸업자의 노동시장 진입에 대한 의미는 아직 교육적 가설이다. AI가 낸 결과를 검토하고 오류를 고치는 능력은 신입 업무의 일부가 될 수 있다. 그러나 이 연구는 채용, 임금, 취업률, 현장 성과를 측정하지 않았다. 수업에서의 수정 점수 향상을 고용 경쟁력 증가로 바꿔 말해서는 안 된다. 과목 과제에서 익힌 판단이 실제 업무와 협업으로 이어지는지 별도의 연구가 필요하다.
열두째, 후속 연구는 장기 평가와 연구 자료의 확인 가능성을 함께 강화해야 한다. 교육 요소별 비교, AI 없는 지연 검사, 새로운 문항과 다른 모델, 개방형 설명 평가가 필요하다. 논문의 자료 이용 가능성 문구는 ‘이 연구에서 자료를 생성하거나 분석하지 않았다’고 적혀 있어, 본문의 실험·대화 분석과 일치하지 않는다. 이 문구만으로 원자료 공개나 재현 가능성이 확인되었다고 볼 수 없다. 공개 자료와 분석 코드를 명확히 연결하는 것이 결과의 검증에 도움이 된다. 이 논문의 유용한 메시지는 ‘AI와 대화하면 배운다’가 아니라 ‘어떤 수정이 이익이고 어떤 수정이 손실인지 가르치고 측정하자’는 것이다.
참고문헌
Huang, B., Xie, L., Liu, Y., Liu, X., Tang, H., Feng, X., Qiao, C., Guo, Q., Wu, C., & Bao, L. (2026). From answer machine to collaborative partner: Impact of structured generative AI training on scientific problem solving in STEM education. International Journal of STEM Education, 13, Article 62. https://doi.org/10.1186/s40594-026-00652-9
2026년 10월 6일 출판된 학술지 논문의 공개 본문, 표 4·7, 출판사·Crossref 서지정보를 확인했다. 연구 결과와 해석, 아직 검증하지 않은 교육·졸업자 진입 적용을 구분했다.
AI 활용 내역
이 글은 AI(Instinct AI 어시스턴트)를 활용하여 논문의 핵심 내용을 분석·요약하고, 한국어 리뷰 원고를 작성하였습니다. 최종 검토 및 발행은 블로그 운영자가 수행합니다.