AI를 인용하지 마세요

• 대형 언어 모델(LLM) 의 응답은 사실이 아니라, 단어의 통계적 예측 결과임
• ChatGPT, Claude, Gemini 등은 가장 그럴듯한 다음 단어를 예측할 뿐, 정보의 출처나 진위를 인식하지 않음
• 이들은 설득력 있는 문장을 만들 수 있지만, 그 내용은 정확하거나 신뢰할 수 없을 수 있음
• AI의 답변을 권위 있는 근거처럼 복사·전달하는 행위는 단순히 “자주 함께 쓰이는 단어들의 조합”을 반복하는 것에 불과함
• AI 응답을 사실로 인용하는 관행은 지식 검증과 사고력 약화의 위험성을 드러냄

AI 응답의 본질

• ChatGPT, Claude, Gemini 등 대형 언어 모델의 응답은 사실이 아님
  • 이들은 문장 내 다음에 올 단어를 예측하는 방식으로 작동
  • 결과적으로 그럴듯하지만 부정확한 정보를 생성할 수 있음
• 이러한 모델은 수많은 자료를 학습했지만 출처를 기억하지 못하는 사람에 비유됨
  • 즉, 정보의 근거와 맥락을 인식하지 못한 채 문장만 재조합함

신뢰성의 한계

• AI가 제공하는 답변이나 조언은 정확할 수도 있지만, 그 근거는 불명확함
  • 답변은 “기억된 책”이 아니라 자주 함께 등장하는 단어들의 조합임
• 따라서 AI의 출력을 사실이나 권위 있는 정보로 인용하는 것은 부적절함
  • “ChatGPT가 그렇게 말했다”는 주장은 단순한 단어 예측 결과의 인용에 불과함

인용의 위험성

• AI의 응답을 그대로 복사해 전달하는 행위는 진실이 아닌 단어 조합을 퍼뜨리는 것과 같음
  • 이는 때로는 유용하거나 통찰을 줄 수 있지만, 진실이나 최종 판단 기준은 아님
• 글에서는 이러한 행위를 “똑똑한 사람들이 사고를 멈추는 모습” 으로 표현함

추가 참고 자료

• OpenAI: Why language models hallucinate
• Oxford University: Large Language Models pose risk to science with false answers
• New York Times: A.I. Is Getting More Powerful, but Its Hallucinations Are Getting Worse
• MIT Media Lab: People Overtrust AI-Generated Medical Advice despite Low Accuracy
• Business Insider, Reuters, Nature, CNN, Financial Times, The Guardian 등에서 AI 환각(hallucination) 과 허위 정보 문제를 다룸

결론

• AI와 머신러닝 기술 자체는 긍정적으로 평가되지만,
  AI 응답을 비판 없이 인용하거나 신뢰하는 태도는 경계해야 함
• 사이트는 “But ChatGPT Said… ”라는 말을 하는 사람에게 이 내용을 공유하도록 권장함