채점을 AI한테 시켰더니 내 채점기의 버그를 잡았다

주문 읽는 AI를 테스트 29문제로 검증해 온 연재의 8편

• 코드 채점기는 만든 사람이 정한 규칙만 검사해서, 규칙 자체가 틀리면 못 잡음. 그래서 같은 답안 29장을 답안 전체를 읽는 AI 채점관(Sonnet)에게도 채점시켜 둘을 대조함
• 27장은 판정 일치, 갈린 2장은 뜯어보니 둘 다 AI가 맞고 코드 채점기가 틀려 있었음 — 물어본 답을 놓쳤다고 벌점 준 것, 답안지의 정해진 칸 밖에 적힌 메모를 못 읽은 것
• 채점기를 고치자 이미 발표했던 점수가 바뀜. 모델도 답안도 그대로인데 점수만 바뀐 것 — 점수를 발표할 때는 어느 채점기로 매긴 점수인지가 붙어야 함
• 정직한 단서도 적음: 29장 중 26장이 무결점이라 일치율이 저절로 높게 나오는 표본이었고, 채점 규칙서를 쥐여준 시험이라 규칙 없이 알아서 채점시키는 것과는 다른 문제