"선생님, 이 학생 글이 좀 이상한데요. ChatGPT가 쓴 것 같아요."
서울의 한 중학교 선생님이 한국교육신문에 실은 글에서 다른 선생님께 들었다며 소개한 말입니다. 평소 글쓰기를 어려워하던 학생이 논술형 수행평가에서 유창하고 짜임새 있는 글을 냈습니다. AI 탐지기에 넣어 봤지만 결과는 애매했고, 그 선생님은 제출된 글 그대로 점수를 매길 수밖에 없었다고 합니다. 이 글을 읽으시는 선생님께서도 비슷한 경험이 있으시지는 않았나요?
결과가 애매한 건 그 탐지기만의 문제는 아닙니다. ChatGPT를 만든 OpenAI도 탐지기를 학습시켜 봤는데, 셰익스피어 작품과 미국 독립선언문까지 AI가 쓴 글로 분류했다고 밝혔습니다. 2023년 1월 공개한 글 판별기는 정확도가 낮아 반년도 안 된 7월에 서비스를 중단하기도 했고요.
그렇다고 의심스러운 글을 그냥 넘기기도 어렵습니다. 2025년 12월 교육부가 내놓은 수행평가 AI 활용 관리 방안의 학생 안내 예시에는 AI가 만든 글을 사용 기록 없이 그대로 내면 그 내용은 채점에서 제외될 수 있다고 적혀 있습니다. 그런데 AI가 썼는지 판별할 근거가 마땅히 없습니다. 넘어가자니 직접 쓴 다른 학생들에게 불공평하고, 학생을 부르자니 정말 직접 쓴 글이면 상처가 될까 걱정됩니다.
그래서 이번 글에서는 AI 탐지기 점수를 어디까지 믿어도 되는지, 점수가 높게 나왔을 때 무엇을 참고할 수 있고, 학생에게는 어떻게 확인하면 좋을지 함께 확인해보겠습니다.
요약하자면, AI 탐지기 점수는 다시 살펴볼 곳을 알려 줄 뿐이고, 직접 썼는지는 글을 쓴 과정과 학생의 설명으로 최종 판단해야 해요.
AI 탐지기 정확도, 얼마나 믿을 수 있을까요?
AI 탐지기 점수만으로 학생이 직접 썼는지 판단할 수 있을 만큼 믿을 만하지 않습니다.
OpenAI가 공개했던 판별기를 영어 글로 시험한 결과, AI가 쓴 글은 네 편 중 한 편 남짓만 알아봤습니다. 사람이 쓴 글도 열 편에 한 편 가까이 AI가 썼다고 잘못 분류했습니다.
OpenAI는 교육자용 도움말에서도 탐지기가 효과가 있느냐는 질문에 경험상 그렇지 않았다고 답합니다. 학생에게 오래 영향을 줄 판단을 내리는 데 쓰기에는 신뢰성이 부족했다는 설명입니다.
다른 회사 탐지기는 어떨까요? 공개 도구와 상용 도구 열네 개를 시험한 연구진도 이 도구들이 정확하지도, 믿을 만하지도 않다고 결론 내렸습니다.
학생이 결과에 이의를 제기하면 선생님께서는 판단 근거를 설명하셔야 합니다. 한국교육신문에 실린 한 교육대학교 교수의 칼럼은 그때 탐지 결과를 근거로 제시하기에는 오류 비율이 너무 높다고 지적했습니다.
AI 탐지기 원리, 무엇을 보고 AI가 썼다고 하나요?
AI 탐지기는 대개 쓰는 단어가 다양하지 않고 문장 구조가 단순할수록 AI가 쓴 글로 판단합니다.
스탠퍼드 연구진은 탐지기들이 흔히 쓰는 지표(perplexity)가 어휘의 풍부함과 다양성, 문장의 복잡성과 관련이 있다고 설명했습니다. 그런데 이 방식 때문에 직접 쓴 글을 잘못 의심하기도 하고, AI가 쓴 글을 놓치기도 합니다.
직접 쓴 글도 AI가 쓴 글로 나올 수 있나요?
쓰는 단어가 적고 문장이 단순하면 직접 썼어도 AI가 쓴 글로 나올 수 있습니다. 영어 글을 대상으로 한 연구에서 확인된 일입니다.
스탠퍼드 연구진이 시험한 탐지기들은 미국 중학생의 에세이는 거의 정확하게 가려낸 반면, 영어가 모국어가 아닌 학생의 에세이는 열 편 중 여섯 편꼴로 AI가 썼다고 잘못 판단했습니다.
연구진이 미국 학생 글의 단어를 ChatGPT로 쉽게 바꾼 실험에서도 AI 글로 잘못 분류하는 경우가 크게 늘었습니다. OpenAI 역시 개발하던 탐지기가 영어를 제2언어로 배웠거나 배우는 학생, 정형화되거나 간결한 글을 쓰는 학생에게 불리할 수 있다는 조짐을 봤다고 밝혔습니다.
이 결과를 한국어 글에 그대로 적용할 수는 없습니다. 다만 영어 글 연구에서 미뤄 보면, 직접 쓴 학생도 잘못 의심받을 수 있다는 점을 알 수 있습니다.
AI가 쓴 글은 빠짐없이 잡아내나요?
AI가 쓴 글도 조금만 고치면 탐지를 피할 수 있다고 OpenAI는 설명합니다.
앞서 14개 도구를 시험한 연구에서도 AI가 쓴 글을 사람이 쓴 글로 분류하는 경향이 있었고, 사람이 한번 수정한 글에서는 탐지 성능이 크게 떨어졌습니다. 앞의 칼럼도 학생이 제출 전에 탐지 결과를 확인하고, 점수가 높으면 일부를 고쳐서 낼 수 있다고 지적했습니다.
점수만 보고 판단하면 직접 쓴 학생이 의심받고, AI 글을 수정한 학생은 의심을 피할 수 있습니다.
AI 작성률이 높게 나왔다면, 무엇부터 확인하나요?
AI 작성률이 높게 나오면 학생이 평소 쓴 글과 이번 글을 쓴 과정을 먼저 확인합니다.
점수는 다시 살펴볼 부분을 찾는 데 참고합니다. 교육부 관리 방안에도 AI를 어디까지 써도 되는지 미리 알리고, 사용 기록을 남기게 하며, 필요하면 말로 설명하게 하는 절차가 있습니다. 기록에 담을 내용과 안내 방법은 앞서 정리한 글에서 확인할 수 있습니다.
선생님께서는 다음 순서로 제출한 글과 기록을 살펴보시면 좋겠습니다.
표시된 문장: 탐지기가 문장을 표시해 준다면 그 부분부터 읽어 봅니다. 수업에서 다룬 내용이나 학생이 평소 쓰는 문장과 비슷한지 살펴보시길 권합니다.
평소 글과 견주기: 학생이 수업 중에 쓴 글과 비교합니다. 성적에 반영하는 수행평가는 수업 시간에 하는 것이 원칙이므로, 그때 쓴 글이 비교 자료가 될 수 있습니다.
사용 기록과 초안: AI 사용 기록이나 처음 쓴 초안, 메모가 있는지 확인합니다. 학생에게 ChatGPT와 나눈 대화를 공유하게 하는 선생님들도 있다고 OpenAI 도움말은 소개합니다.
ChatGPT에 묻거나 탐지기를 여러 개 돌려 보면 알 수 있나요?
ChatGPT의 답이나 여러 탐지기의 결과만으로는 학생이 직접 썼는지 확인할 수 없습니다.
한 도구의 결과가 애매하면 다른 도구로도 확인해 보고 싶으셨을 겁니다. 하지만 ChatGPT에 "이 글을 네가 썼니?"라고 물었을 때 나오는 답은 지어낸 것일 수 있습니다. OpenAI는 이런 답이 무작위로 생성되며 사실에 근거하지 않는다고 밝혔습니다.
탐지기를 여러 개 돌려 하나라도 AI라고 하면 의심하는 방식도 주의해야 합니다. 이 방식으로 판단하면 직접 쓴 학생을 더 많이 의심하게 될 수 있습니다.
학생에게는 어떻게 물어봐야 할까요?
학생을 추궁하지 않고, 글을 어떤 과정을 거쳐 썼는지 설명해 달라고 부탁합니다.
직접 쓴 학생에게 이런 질문을 해도 될까 망설여지실 수 있습니다. 교육부 관리 방안은 필요할 때 제출한 내용을 말로 설명하도록 요구할 수 있게 되어있습니다.
친구들 앞에서 묻기보다 따로 이야기할 시간을 마련하고, 글의 구체적인 부분을 짚어 물어보시길 권합니다.
"이 단어는 무슨 의도로 사용했니?"
"처음 쓴 메모나 초안을 보여 줄래?"
말로 설명하는 데 서툰 학생도 있습니다. 바로 답하지 못하더라도 재촉하지 않고, 메모나 초안을 함께 보며 설명할 시간을 주는 편이 좋겠습니다.
학생이 설명을 잘 못하면 어떻게 되나요?
관리 방안의 학생 안내 예시대로라면, 결과물 내용을 묻는 선생님 질문에 제대로 답하지 못한 내용은 채점에서 제외될 수 있습니다.
이 안내 예시는 학교가 평가 전에 학생에게 알려 줄 때 쓰도록 제시한 것이고, 말문이 막힌 학생을 곧바로 부정행위자로 볼 수 있다는 뜻은 아닙니다.
설명을 듣고 자료를 확인한 뒤의 처리는 학교 학업성적관리규정을 따릅니다. AI를 쓴 학생에게 어떻게 피드백할지는 학생 지도 방법을 정리한 글을 참고할 수 있습니다. 학생도 무엇을 설명해야 하는지 알고 준비할 수 있도록 평가 전에 미리 알려 두면 좋습니다.
교육 현장에서의 활용
평가 전에 초안과 설명을 확인할 절차를 마련해 둡니다.
다음 수행평가에서는 무엇을 바꿔 볼 수 있나요?
AI를 어디까지 써도 되는지 미리 알리고, 글을 쓰는 과정을 확인할 수 있도록 평가를 계획합니다.
미리 알리기: 수행평가 안내에 AI를 써도 되는 범위와 사용 기록을 남기는 방법을 적습니다.
과정 받기: 수업 중에 개요나 초안을 받아 둡니다. 최종 글과 함께 볼 수 있게 학생에게도 보관하도록 안내합니다.
말로 확인하기: 학생이 쓴 내용을 짧게 설명하는 시간을 평가 계획에 넣어 둡니다.
이때 살필 것은 학생이 자기 글을 자신의 말로 설명할 수 있는가입니다. 탐지기 점수만으로 성적이나 부정행위를 처리하기는 어렵습니다.
이번 글에서는 AI 탐지기 점수를 믿기 어려운 이유와 점수가 높게 나왔을 때 확인할 자료, 학생에게 글을 쓴 과정을 묻는 방법까지 알아봤습니다.
선생님께서 혼자 힘들게 고민하지 않으려면, 학교에서 확인할 자료와 절차를 함께 정해 둘 필요가 있습니다. 학교의 AI·SW 교육을 설계하고 운영하는 악어에듀도 학생의 생각과 배움을 어떻게 확인할지 학교 현장과 함께 계속해서 풀어나가겠습니다.
악어에듀의 바이브블록은 학생이 작품을 만드는 과정에서 AI를 어떻게 활용했는지 기록을 통해 모두 확인할 수 있습니다. 자세한 내용은 추천 게시글을 참고해 주세요.
참고 자료