LLM은 당신의 더닝-크루거 효과를 강화하는 스테로이드

• 대형언어모델(LLM) 과의 대화는 사용자가 실제보다 더 많이 알고 있다고 느끼게 만드는 확신의 착각을 강화함
• 사용자는 대화 후 종종 잘못된 정보에 확신을 가지는 상태로 남으며, 이는 반복적 사용을 부추기는 심리적 중독성을 가짐
• LLM은 아이디어를 확장하고 사고를 증폭시키지만, 동시에 자기기만을 강화하는 도구로 작용할 수 있음
• 기술적으로는 통계적 추론과 대규모 학습 자원 투입에 기반한 비교적 단순한 구조지만, 사회적 영향은 매우 큼
• 이러한 모델은 지식 엔진이 아니라 ‘확신 엔진’ 으로 이해해야 하며, 인간의 사고와 언어 사용 방식에 근본적 변화를 일으키고 있음

확신의 착각과 LLM의 심리적 효과

• Bertrand Russell의 “The Triumph of Stupidity” 인용을 통해, 무지한 확신과 지적 회의의 대비를 언급
  • Russell은 “세상 문제는 어리석은 자는 확신에 차 있고, 지혜로운 자는 의심으로 가득하다”고 표현
• LLM과의 대화에서 사용자는 잘못된 정보에도 확신을 가지는 경향을 보임
  • ChatGPT가 “좋은 아이디어”라고 반응할 때, 실제로는 그렇지 않은 경우가 많음
• 작성자는 LLM과의 상호작용 후 지식이 늘었다는 착각을 자주 경험함
  • 정보가 틀렸다는 것을 인식하면서도, 확신이 주는 쾌감 때문에 반복 사용하게 됨
• 이러한 경험은 심리적 중독성을 띠며, 사용자는 아이디어를 발전시킬 때마다 LLM에 의존하게 됨
  • 일상적 상황에서도 LLM에 질문하려는 충동이 생김 (“가방을 잃어버렸을 때 ChatGPT에 물어볼까 생각함”)

사고 증폭과 자기기만의 양면성

• LLM은 사고를 증폭시키는 거울로 묘사됨
  • 사용자의 생각을 여러 방향으로 확장시키며, 때로는 흥미로운 결과를 낳음
• 그러나 이 증폭은 양날의 검으로, 좋은 아이디어를 발전시키기도 하지만 잘못된 생각을 강화하기도 함
  • LLM은 유창하고 권위적인 어조로 오류를 포장해 심리적 함정을 만듦

기술적 구조와 흥미의 불균형

• 작성자는 LLM을 “지루한 기술” 로 평가함
  • 본질적으로 확률적 블랙박스이며, 훈련은 통계적 추론의 반복임
• 최근의 소프트웨어·하드웨어 혁신은 존재하지만, LLM 고유의 혁신은 제한적이라 언급
  • “진짜 혁신은 막대한 자금을 투입해 대규모로 학습시킨 것일지도 모른다”고 표현
  • RLHF(인간 피드백 강화학습)는 예외적 혁신일 가능성으로 언급됨

사회적·언어적 전환의 영향

• LLM의 진정한 흥미는 기술 자체보다 사회적 영향에 있음
  • 교육, 노동, 사회 전반에서 중대한 변화의 전조로 평가됨
• 언어는 인간 정체성의 핵심이며, 기계가 언어 영역에 진입한 순간 변화가 시작됨
  • 그 변화의 본질은 아직 명확하지 않지만, “변화의 조류가 움직이고 있다” 는 감각이 존재함

지식 엔진이 아닌 확신 엔진

• LLM은 지식을 제공하는 엔진이 아니라 확신을 생성하는 엔진으로 봐야 함
  • 이는 향후 단기 및 중기적 미래의 핵심 특징을 설명하는 개념으로 제시됨
• 인간의 사고와 언어 사용 방식이 기계적 확신 생성 메커니즘과 결합하면서 새로운 사회적 패턴이 형성되고 있음