채팅 기반 대규모 언어 모델은 심령술사 사기의 작동 방식을 재현한다

LLMentalist 효과는 챗봇에서 느끼는 지능이 모델 내부의 사고가 아니라, 통계적으로 그럴듯한 답변에서 개인적 의미를 찾는 사용자의 심리에서 비롯된다는 가설임 핵심 연결고리는 심령술사의 콜드 리딩(cold reading) 과 주관적 타당화임. 일반적인 진술도 자신에게 들어맞는다고 느끼면 특별히 정확한 답변으로 받아들일 수 있음 AI에 대한 기대, 대화형 인터페이스, 반복적인 상호작용이 결합하면 사용자가 챗봇의 답변을 스스로 정당화하며 지능에 대한 확신을 강화할 수 있음 인간 피드백 기반 강화학습(RLHF) 이 사실의 정확성보다 정확하게 들리는 어조와 문장 구조를 보상하면서, 이런 효과를 강화하는 진술을 최적화했을 가능성이 있음 핵심 권고는 챗봇에 판단과 추론을 위임하지 말라는 것임. 사용자 만족이나 강렬한 개인적 경험만으로 실제 이해와 추론 능력을 입증할 수는 없음 지능의 착각과 LLMentalist 효과 출발점은 언어 토큰의 수학적 모델이 어떻게 지능을 가진 존재처럼 받아들여지는가라는 질문임 LLM은 입력된 텍스트에 수학적으로 그럴듯한 응답을 생성하며, 사람이나 동물의 사고 기제와 의미 있게 같은 방식으로 작동하지 않는다는 전제를 둠 가능한 설명은 두 가지임. 알려지지 않은 원리로 새로운 종류의 정신이 우연히 탄생했거나, 지능의 착각이 모델이 아닌 사용자 안에서 발생한다는 것임 LLMentalist 효과는 두 번째 가능성을 구체화한 가설로, 챗봇이 심령술사의 콜드 리딩을 우연히 자동화한 것일 수 있음 심령술사와 챗봇 모두 통계적으로 일반적인 답변을 매우 구체적인 응답처럼 느끼게 할 수 있음 심령술사는 마음이나 죽은 이의 비밀을 읽는 듯한 인상을 줌 챗봇은 사용자와 그 작업을 이해하며 지적으로 반응하는 듯한 인상을 줌 챗봇 답변의 Forer 진술을 다룬 Terence Eden의 글이 이 연결의 계기가 됨 “직접 경험해 보니 무언가 있다”, “마음을 열면 알게 된다”는 반응에 나타나는 경외감과 불신, 두려움이 심령술을 믿게 된 사람들의 반응과 닮아 있음 심령술사 사기의 준비와 대상 선별 모든 심령술사나 타로 리더를 사기꾼으로 볼 수는 없음 오락임을 공개하고 초능력을 가장하지 않는 경우가 있으며, 금전적 이득을 추구하지 않는 사람도 있음 분석 대상은 사람을 의도적으로 속이는 공연과 상담의 작동 방식임 1단계, 관객의 자기선택부터 효과가 시작됨 원래 심령 현상을 믿는 사람과 그들이 데려온 사람이 관객의 대부분을...