AI 조언을 받으면 정확도는 3분의 1로 떨어지고 자신감은 2배 이상 높아짐

1 day ago 7

AI 조언을 이용한 참가자는 “모른다”고 답하는 비율이 44%에서 3%로 급감했고, 정확도는 27%에서 9%로 하락한 반면 자신감은 30%에서 76%로 상승함
연구진은 합리적인 도구 위임과 구분하기 위해 영화 속 시각적 세부 정보처럼 AI가 자주 틀리는 질문과 대체로 오답을 내는 Step 3.5 Flash를 사용함
일부 참가자는 혼자였다면 정답을 맞힐 수 있었지만 AI에 질문한 뒤 오답을 선택해, 잘못된 AI 조언이 기존 판단까지 훼손할 수 있음이 확인됨
금전적 보상으로 “모른다”는 응답은 8%, 정확도는 16%까지 개선됐지만, AI를 사용하지 않은 기준치인 44%와 27%에는 크게 못 미침
AI를 사용할 수 있다는 사실만으로도 자기 지식의 한계를 인식하는 습관이 약해질 수 있어, 비판적 사고가 발달 중인 어린이와 학생에게 특히 우려됨

AI 조언이 판단과 자신감에 미친 영향

프랑스와 이탈리아 3개 대학의 연구는 AI 조언에 접근할 때 판단 보류와 정확도, 자신감이 어떻게 달라지는지 측정함
- “모른다”고 답한 비율은 44%에서 3%로 감소함
- 정확도는 27%에서 9%로 하락함
- 자신감은 30%에서 76%로 상승함
연구에는 University of Milano-Bicocca의 Valerio Capraro, École Normale Supérieure의 Chiara Marcoccia, Sapienza University of Rome의 Walter Quattrociocchi가 참여함
질문은 《Bend It Like Beckham》에 나오는 팀 유니폼 색상처럼 AI 모델이 일반적으로 실패하는 영화의 시각적 세부 정보로 구성됨
대체로 이런 질문에 틀리는 Step 3.5 Flash를 의도적으로 사용해, 판단력 감소가 신뢰할 만한 도구에 합리적으로 위임한 결과는 아님을 구분함
일부 참가자는 스스로 답했다면 맞힐 문제에서도 AI에 질문한 뒤 오답을 선택함
금전적 보상은 결과를 일부 개선했지만 AI가 없는 조건의 기준에는 미치지 못함
- “모른다”는 응답은 3%에서 8%로 늘었지만 기준치 44%보다 낮음
- 정확도는 9%에서 16%로 올랐지만 기준치 27%에는 못 미침

Wharton 연구진은 사람들이 잘못된 AI 답변을 80%의 비율로 수용하면서 AI 없이 작업한 사람보다 높은 자신감을 보이는 현상을 인지적 항복(cognitive surrender)이라고 명명함
이번 결과에서는 잘못된 AI 답변을 신뢰하는 데 그치지 않고, AI의 가용성 자체가 자신이 무엇을 모르는지 인식하는 습관을 억제함
Capraro는 “모른다”고 말하는 능력이 자기 지식의 한계를 인식하는 것이므로 인간에게 중요하다고 강조함
비판적 사고 능력이 발달하기 전에 AI 시스템과 함께 성장하는 어린이가 특히 우려되는 대상임
Google의 AI 검색 개편은 링크를 자신감 있는 AI 생성 요약으로 대체했으며, Common Sense Media는 이 설계를 학생에게 “수용할 수 없는 위험”이라고 평가함
답변하도록 설계되고 “모른다”고 말하지 않는 AI 제품을 계속 사용하면 인간도 같은 행동을 학습할 수 있음