90분의 온라인 AI 교육은 무엇을 가르칠 수 있고 무엇을 남기는가. 이 연구는 대학 수업에 넣은 비동기 학습 모듈의 효과를 지식, 수행 과제, 자기효능감으로 나누어 검토한다.
핵심 요약
첫째, Connell Pensky와 동료들(2026)은 미국 한 대학의 65개 분반에서 생성형 AI 기초 교육을 평가했다. 최종 분석 대상은 학부생과 대학원생 1,368명이다. 교육은 약 90분의 네 모듈로 구성되었으며, 설명뿐 아니라 연습, 즉각적 피드백, 성찰을 포함했다.
둘째, 교육 집단은 언어모델의 작동 방식에 관한 지식, 프롬프트 작성 과제, 자기효능감에서 비교 집단보다 더 큰 향상을 보였다. 그러나 전체 지식 점수와 전체 출력 평가 점수에서는 예상한 시간×집단 상호작용이 나타나지 않았다. ‘모든 AI 역량이 향상되었다’라는 요약은 정확하지 않다.
셋째, 출력 평가 과제의 세부 항목에서는 사후에 사실 확인과 출처 확인의 필요성을 설명한 비율이 교육 집단에서 더 높았다. 반면 편향 가능성을 지적하는 항목은 차이가 없었다. 이는 모든 학생이 실제 사실 검증을 잘 수행하거나 편향을 줄였다는 증거와 다르다.
넷째, 짧은 기초 교육이 일부 역량의 출발점을 만들 수 있다는 결과다. 장기 유지, 실제 전공 과제 수행, 취업, 임금은 측정하지 않았다. 수행 과제는 전체 1,368명이 아니라 174명가량의 하위 표본을 채점했으며, 이 분석은 교수자 군집을 반영하지 않았다는 제약도 있다.
배경 및 이론적 맥락
논문은 생성형 AI 역량을 지식, 기술, 태도의 결합으로 본다. 언어모델의 한계를 아는 것, 목적에 맞는 요청을 만드는 것, 출력의 타당성을 검토하는 것, 적절한 사용에 자신감을 갖는 것은 서로 다른 결과다. 기술에 익숙한 세대라는 이유만으로 이 모든 역량을 이미 갖추었다고 가정할 수 없다는 것이 연구의 출발점이다.
교육 설계는 수동적인 정보 전달보다 활동과 피드백을 강조한다. 기초 개념에는 선택형 연습을, 평가와 창작에는 판단 과제와 실제적인 작성 과제를 사용한다. 내용은 도구의 작동 원리에서 윤리와 위험, 학생의 학습 기회, 책임 있는 사용으로 이어진다. 무엇을 어떻게 사용하는지와 함께 언제, 왜 사용해야 하는지를 가르치려는 구조다.
이 연구는 AI를 학생에게 답을 주는 튜터로 사용한 효과가 아니라, 학생이 AI를 이해하고 다루도록 가르치는 교육의 효과를 검토한다. 또한 연습과 피드백이 유효한 이유를 제안하지만, 영상·텍스트·연습·성찰을 각각 분리해 배정하지 않았으므로 어떤 구성 요소가 효과의 원인인지는 따로 식별하지 않는다.
연구 방법론
연구는 2024년 가을 학기 초, 미국 북동부의 중간 규모 사립대학에서 실시되었다. 교수자 46명이 53개 고유 과목, 총 65개 분반으로 참여했다. 처음 초대한 학생은 2,181명이며, 적어도 한 자료를 낸 학생은 1,964명이다. 여러 참여 과목에 중복 등록한 학생 109명을 제외했고, 동의와 사전·사후 평가 완료 등의 조건을 충족한 최종 표본은 교육 집단 758명, 비교 집단 610명이다. 교육 집단에는 모듈의 마지막 화면과 최소 한 활동에 접근한 조건도 적용되었다. 따라서 모든 배정 학생을 그대로 포함한 분석은 아니다.
처음에는 33개 분반을 교육, 32개 분반을 비교 조건에 무작위 배정했다. 같은 교수자의 여러 분반이 서로 다른 조건을 받지 않도록 조정했다. 지식과 자기효능감 분석은 학생을 교수자 안에 중첩된 것으로 보고, 학생의 반복 측정과 교수자 무작위 절편을 반영한 혼합효과 모형을 사용했다. 학생 개인별 독립 무작위 배정으로 설명해서는 안 된다.
네 모듈은 언어모델의 기본 작동, 윤리적 쟁점, 학생에게 주는 기회와 위험, 적절하고 책임 있는 사용을 다뤘다. 대학 학습관리시스템에서 자율 속도로 진행되었고, 텍스트·영상·연습·즉각적 피드백·성찰을 포함했다. 사전 평가, 교육, 사후 평가에 각각 정해진 시간 창을 두었다. 비교 집단은 사후 평가 이후 같은 교육을 받았다. 전체 실험 자료 수집은 학기 첫 주의 6일 안에 끝났다.
지식 평가는 아홉 문항을 언어모델 작동 지식 네 문항과 책임 있는 사용 지식 다섯 문항으로 나눴다. 사전·사후에는 대응되는 두 시험 형식의 순서를 교차 배치했다. 자기효능감은 11개 능력에 대한 자신감을 0~100으로 보고하게 했다. 이는 실제 능력 점수가 아니라 자신의 능력에 대한 판단이다.
기술 평가는 두 개의 개방형 과제를 사용했다. 첫째는 학업 상황에 맞는 프롬프트를 작성하고 역할·청중·작업·목적·제약을 포함했는지 평가했다. 둘째는 주어진 AI 출력에서 더 확인해야 할 두 측면과 이유를 쓰게 하고 사실, 출처, 편향에 대한 검토 필요성을 채점했다. 응답 174명의 하위 표본을 조건과 측정 시점을 가린 복수 평가자가 채점했다. 출력 평가에서는 한 명의 결측으로 173명을 분석했다. 이 하위 표본 분석은 교수자에 중첩된 구조를 반영하지 않고 수행되었다.
연구 결과
전체 지식 점수는 두 집단 모두 사후에 높아졌다. 그러나 시간×집단 상호작용은 유의하지 않았다(p=.99). 세부 영역을 보면 언어모델 작동 지식은 교육 집단이 더 크게 향상되었다(p<.001). 책임 있는 사용 지식에서는 비교 집단이 처음 더 낮았지만 더 크게 향상되어 사후 차이가 없었다(p=.80). 논문은 후자의 결과에 대해 수업 초반의 다른 안내나 평가 효과 등 가능한 설명을 논의한다.
자기효능감은 두 집단 모두 높아졌지만 교육 집단의 증가가 더 컸다. 시간×집단 상호작용은 유의했다(p<.001). 다만 자신감의 증가는 편향 감지나 책임 있는 사용 지식의 향상과 동일한 결과가 아니다.
프롬프트 작성의 전체 루브릭 점수는 교육 집단에서만 뚜렷하게 향상되었다. 시간×집단 상호작용의 부분 에타제곱은 .19다. 이것은 점수가 19% 올랐다는 뜻이 아니다. 세부 항목에서 교육 집단의 청중 명시 점수는 18.7%에서 50.1%, 역할 부여는 6.3%에서 31.8%, 제약 명시는 2.9%에서 23.3%로 높아졌다. 각각 31.4, 25.5, 20.4퍼센트포인트의 집단 내 변화이며, 그대로 대조군 대비 효과 크기로 읽지는 않는다.
출력 평가의 전체 점수에서는 시간×집단 상호작용이 유의하지 않았다(p=.22). 세부 항목의 사후 비교에서는 사실 확인의 필요성을 설명한 비율이 비교 집단 80.5%, 교육 집단 91.9%였고, 출처 확인은 각각 41.4%, 67.4%였다. 편향 지적은 23.0%, 15.1%로, 집단 간 유의한 차이가 없었다. 통계적으로 유의하지 않은 편향 결과를 ‘교육이 편향 감지를 악화시켰다’로 바꾸지 않는다.
연구진은 긍정적 효과가 있었던 영역에서 출생 시 성별, 인종, 대학 최초 진학 여부, 학생 단계, 전공에 따른 효과 차이를 탐색했다. 대체로 세 요인 상호작용을 찾지 못했고, 자기효능감에서는 교육 집단의 성별 차이가 사후에 유의하지 않게 되는 패턴을 보고했다. 차이를 검출하지 못한 결과가 모든 집단에서 효과가 정확히 같다는 동등성 증명은 아니다.
결론 및 의의
첫째, 이 연구의 의미는 짧은 AI 교육을 하나의 성공·실패 판정으로 압축하지 않게 한다는 데 있다. 작동 원리, 프롬프트 작성, 자기효능감에는 긍정적인 변화가 있었지만, 책임 있는 사용 지식과 전체 출력 평가에서는 같은 결과가 나오지 않았다. 교육을 도입할 때에는 어느 역량을 목표로 하고 어떤 수행으로 확인할지부터 나누어야 한다. 이 구분 없이 ‘AI 리터러시 향상’이라고만 말하면 실제로 남은 학습 과제를 가릴 수 있다.
둘째, 학습한 지식과 그것을 적용하는 행동은 다르다. 사실이나 출처를 확인해야 한다고 설명하는 것은 검증의 출발점이지만, 실제로 원문을 찾고 주장과 대조하며 결론을 수정하는 전체 절차를 잘 수행했다는 뜻은 아니다. 출력 평가 과제는 검토할 두 측면과 이유를 물었다. 따라서 이 결과로 허위 정보 판별률이나 오류 수정 성공률이 높아졌다고 말할 수 없다. 후속 평가는 확인 필요성의 인식에서 확인 행동의 질까지 이어져야 한다.
셋째, 편향 영역의 결과는 기본 교육 이후에도 별도 연습이 필요한 지점을 보여준다. 논문은 사례와 성찰을 강화하는 방향을 제안한다. 그러나 어떤 추가 활동이 효과적인지는 직접 비교하지 않았다. 수업에서는 동일한 질문에 대한 여러 출력, 누락된 관점, 집단에 대한 묘사를 비교하는 과제를 시험할 수 있다. 이는 이 결과를 토대로 한 교육 설계 제안이며, 특정 과제의 효과가 검증되었다는 의미는 아니다.
넷째, 편향을 지적하지 않았다는 반응을 편향을 알아볼 능력이 전혀 없다는 진단으로 바꾸어서도 안 된다. 학생은 출력에서 두 측면만 골라 쓰도록 요구받았다. 사실과 출처를 먼저 선택하면 편향을 알고 있어도 응답에 쓰지 않을 수 있다. 세 가지 기준을 모두 직접 묻는 평가와 새로운 상황의 평가를 함께 사용하면, 낮은 비율이 능력 부족인지 응답 우선순위인지 더 잘 구분할 수 있다. 이 측정의 범위를 결과 해석에 남겨 두어야 한다.
다섯째, 자신감과 정확성의 균형이 중요하다. 자기효능감이 높아지면 학생이 도구를 시도하고 질문하는 데 도움이 될 가능성이 있다. 그러나 이 연구에서는 자신감 증가와 모든 검증 역량의 증가가 함께 나타난 것은 아니다. 교육자는 자신감 설문만으로 수료 성과를 판단하기보다, 학생이 근거를 확인하고 불확실성을 설명하며 사용을 멈춰야 할 때를 판단하는 수행을 함께 볼 수 있다. 과신이 실제로 증가했다는 결과는 아니며, 확인해야 할 가능성이다.
여섯째, 프롬프트 작성의 향상은 검색 경험이 AI 상호작용 능력으로 자동 전환되지 않는다는 문제를 구체화한다. 학생들은 작업과 목적을 어느 정도 쓸 수 있었지만 역할, 청중, 제약을 명시하는 데에는 초기 어려움이 컸다. 다만 루브릭의 구성 요소를 더 많이 넣었다고 해서 모든 요청에서 더 좋은 결과가 보장되는 것은 아니다. 후속 과제에서는 작성한 요청의 효과, 불필요한 지시, 모델의 오류에 대한 수정 과정을 평가할 수 있다.
일곱째, 확장 가능한 교육이라고 해도 교사의 역할이 없어지는 것은 아니다. 이 실험에는 참여 교수자의 사전 준비, 과제 편입, 기한 안내, 참여 점수, 학습관리시스템 설정이 있었다. 연구진도 현행 교육과 도구에 맞춘 지속적인 내용 수정의 필요성을 강조한다. ’90분만 제공하면 이후 지원이 필요 없다’라는 실행 계획은 결과가 뒷받침하지 않는다. 공동 기초 모듈은 전공 수업의 맥락과 정책을 설명하는 일을 대신하지 못한다.
여덟째, 표본과 분석의 범위를 함께 봐야 한다. 연구는 선택성이 높고 기술 연구가 활발한 한 대학에서, 참여 의사가 있는 교수자의 수업으로 수행되었다. 최종 분석은 동의와 평가 완료, 교육 참여 조건을 충족한 학생으로 제한된다. 참여하지 않거나 끝내지 못한 학생에게 같은 효과가 나타나는지는 알 수 없다. 다른 대학에 적용할 때에는 완료율과 접근성, 사전 역량을 함께 확인해야 한다.
아홉째, 수행 과제의 통계적 확실성은 큰 전체 표본 수만으로 판단할 수 없다. 이 과제는 174명가량만 채점했고, 조건과 시험 형식에는 균형을 맞췄지만 교수자별 구성에는 균형을 맞추지 않았다. 지식·자기효능감과 달리 교수자 군집을 반영하지 않은 분석이므로 같은 수업 환경을 공유하는 응답의 의존성은 남는 쟁점이다. 많은 세부 항목과 집단 비교를 탐색한 결과도 독립적 반복과 사전 계획된 분석으로 확인할 가치가 있다.
열째, 형평성에 관한 결론은 가능성과 증명을 나누어야 한다. 여러 집단에서 효과 차이를 찾지 못했다는 결과는 폭넓게 활용할 출발점이 될 수 있다. 그러나 소수 집단의 표본과 수행 과제의 작은 하위 표본에서는 차이를 검출할 힘이 제한될 수 있다. 성별 자기효능감 차이가 사후에 사라졌다고 해서 모든 능력 격차나 제도적 장벽이 해소되었다는 뜻도 아니다. 한국 대학에서는 언어, 도구 비용, 장애 접근성 등 별도 조건을 검토해야 한다.
열한째, 졸업자의 노동시장 진입에 관한 함의는 아직 확장된 가설이다. 프롬프트 작성과 출력 검토가 직무의 기초가 될 수 있지만, 이 논문은 채용 판단이나 취업률, 임금, 입사 후 성과를 측정하지 않았다. 교육 수료를 취업 경쟁력의 자동 상승으로 설명해서는 안 된다. 전공 과제와 실제 작업으로 역량이 전이되는지, 신입 업무의 독립적 판단과 협업에 도움이 되는지 따로 추적해야 한다.
열두째, 후속 연구는 짧은 학기 초 평가에서 장기적 역량으로 나아가야 한다. 수개월 뒤 새로운 문제와 모델에서도 지식과 기술이 남는지, 추가 연습이 편향 검토와 책임 있는 판단을 개선하는지 확인할 수 있다. 네 모듈의 효과를 분리하고 교수자 군집을 반영한 수행 평가를 확대하며, 미완료 학생까지 포함한 분석을 비교할 필요가 있다. 이 논문의 유용한 메시지는 ’90분이면 AI를 배운다’가 아니라 ‘기초 교육으로 개선되는 영역과 더 깊은 연습이 필요한 영역을 각각 측정하자’는 것이다.
참고문헌
Connell Pensky, A. E., Eckstein, L. E., Melville, M. C., Pottmeyer, L. O., Mineroff, Z., Chawla, A., Brooks, J., Hershock, C., & Lovett, M. C. (2026). Can asynchronous learning modules about generative AI increase students’ knowledge, skills, and self-efficacy for genAI? Computers & Education, 250, Article 105640. https://doi.org/10.1016/j.compedu.2026.105640
학술지 논문의 공개 본문과 출판사·Crossref 서지정보를 기준으로 했다. 2026년 9월호의 출판된 연구 논문이며, 연구진의 결과와 이 글에서 도출한 해석·적용 제안을 구별했다.
AI 활용 내역
이 글은 AI(Instinct AI 어시스턴트)를 활용하여 논문의 핵심 내용을 분석·요약하고, 한국어 리뷰 원고를 작성하였습니다. 최종 검토 및 발행은 블로그 운영자가 수행합니다.
답글 남기기