핵심 요약
이 논문은 대학 직원들이 기관 공식 생성형 AI 플랫폼을 4주간 사용한 파일럿에서 체감 효과와 측정된 효과가 어떻게 엇갈리는지를 분석한다. 159명의 교직원이 참여했고, 사전·사후 설문과 심층 인터뷰, 그리고 실제 업무 과제를 생성형 AI 유무로 수행하는 소규모 무작위 통제 실험이 결합되었다.
무작위 실험에서 생성형 AI를 사용한 집단은 과제를 더 빨리 완료했고, 자동 평가자는 이들의 산출물을 더 높게 평가했다. 그러나 본인들이 스스로 매긴 산출물의 질 평가는 높아지지 않았다.
4주 동안 유용성 인식은 7점 척도에서 5.30에서 4.20으로 통계적으로 유의하게 하락했다(p<.001). 초기 기대가 실제 사용 경험을 거치며 하향 조정된 것이다.
직무 유형에 따른 차이가 뚜렷했다. 연구직이 가장 큰 생산성 향상을 보인 반면 지원직은 유용성 인식의 하락이 가장 가팔랐다. 측정된 성과와 주관적 체감 사이의 간극, 이른바 성과-인식 간극이 이 연구의 중심 발견이다.
배경 및 이론적 맥락
고등교육에서의 생성형 AI 연구는 학생의 학습과 평가에 압도적으로 집중되어 왔고, 이 기술이 교직원의 일상 업무를 어떻게 바꾸는지에 대한 증거는 거의 없었다. 대학은 연구와 교육뿐 아니라 행정, 지원, 커뮤니케이션 업무가 밀집된 조직이므로, 직원 업무의 변화를 빼놓고는 고등교육의 AI 전환을 논할 수 없다.
이론적으로 이 연구는 두 갈래와 연결된다. 하나는 기술 수용 문헌의 기대-확인 논의로, 초기 기대가 사용 경험을 통해 조정되는 과정이 지속 사용을 결정한다는 관점이다. 다른 하나는 생산성 측정 문헌으로, 생성형 AI의 효과가 자기보고에서는 크게 나타나는 경향이 있어 주관적 인식과 객관적 측정을 분리해야 한다는 문제의식이다. 이 연구는 두 측정을 같은 대상에서 동시에 수집해 그 괴리를 직접 관찰한다.
연구 방법론
연구 설계는 세 가지 방법의 결합이다. 먼저 4주 파일럿 기간의 사전·사후 설문으로 유용성 인식과 사용 패턴의 변화를 추적했다. 다음으로 심층 인터뷰로 사용 경험의 질적 맥락을 수집했다. 마지막으로 참가자들을 무작위로 배정해 실제 업무 성격의 과제를 생성형 AI 사용 조건과 미사용 조건으로 수행하게 하는 소규모 통제 실험을 병행했다.
실험 산출물은 자동 평가자와 참가자 자기평가로 각각 채점되었다. 완료 시간, 자동 평가 점수, 자기 평가 점수를 함께 비교함으로써 속도, 외부 평가, 자기 인식의 세 축을 분리할 수 있다. 유용성 인식은 7점 척도로 측정되었다.
연구 결과
무작위 실험에서 생성형 AI 조건은 과제 완료 시간이 더 짧았고 자동 평가자의 점수는 더 높았다. 반면 자기 평가한 산출물의 질은 조건 간에 차이가 나지 않았다.
파일럿 기간 동안 유용성 인식은 5.30에서 4.20으로 하락했고 이 변화는 통계적으로 유의했다(p<.001). 4주라는 짧은 기간 안에 기대 조정이 일어난 것이다.
직무 유형별 이질성이 확인되었다. 연구직은 생산성 향상이 가장 컸고, 지원직은 유용성 인식의 하락이 가장 컸다. 같은 기술의 같은 도입이 직무에 따라 다른 경험을 만들었다.
결론 및 의의
이 연구의 첫 번째 의의는 체감과 측정의 분리를 하나의 설계 안에서 보여준 것이다. 사용자가 유용성을 낮게 느끼면서도 산출물의 속도와 외부 평가 점수는 개선되었다. 설문만으로 도입을 평가하면 효과를 과소평가하고, 측정 지표만으로 평가하면 수용의 위기를 놓친다. 생성형 AI 도입 평가는 두 채널을 함께 봐야 한다.
두 번째 의의는 기대 관리다. 4주 만에 유용성 인식이 유의하게 하락했다는 것은 초기의 높은 기대가 지속 가능한 수준이 아니라는 뜻이다. 도입 초기에 과도한 기대를 형성하는 커뮤니케이션은 이후 실망과 사용 중단의 비용을 만든다. 현실적인 기대 설정과 과업별 활용 교육이 도입 설계의 핵심이다.
세 번째 의의는 직무 차등이다. 연구직과 지원직의 경험이 갈렸다는 것은 획일적인 라이선스 배포가 비효율적임을 시사한다. 과업 적합도를 기준으로 도입 대상을 고르고, 지원직에는 그들의 과업에 맞는 활용 사례를 별도로 개발하는 접근이 필요하다.
네 번째 의의는 고등교육 노동 연구에 대한 기여다. 대학의 AI 전환 논의가 학생에 집중된 사이, 행정과 연구 지원을 담당하는 직원들의 업무 재편은 이미 진행 중이다. 이들의 역할 재설계와 역량 개발이 고등교육 기관의 인력 전략에 포함되어야 한다.
한계도 있다. 단일 기관의 4주 파일럿이고 표본은 159명이다. 자동 평가자의 판단이 인간 전문가의 판단과 얼마나 일치하는지는 별도의 검증이 필요하며, 유용성 인식의 하락이 장기 사용 중단으로 이어졌는지는 추적하지 못했다. 동료심사 전 워킹페이퍼다.
참고문헌
Garg, M., Kernan Freire, S., Bruck, S., Tanjung, A., & Bakker, T. (2026). Generative AI in higher education staff work: Perceived versus measured effects. SSRN Working Paper. https://doi.org/10.2139/ssrn.7570368
SSRN 워킹페이퍼(2026년 10월 게재)로 동료심사를 거치지 않았다. 단일 기관의 단기 파일럿이다. 본문은 해당 논문의 연구와 그로부터 도출한 해석만을 다룬다.
AI 활용 내역
이 글은 AI(Instinct AI 어시스턴트)를 활용하여 논문의 핵심 내용을 분석·요약하고, 한국어 리뷰 원고를 작성하였습니다. 최종 검토 및 발행은 블로그 운영자가 수행합니다.