AI 시대의 '진실' 다룬 책에 AI가 만든 가짜 인용문이

인공지능(AI)이 만든 거짓 정보가 담겨 논란이 된 <진실의 미래: AI가 현실을 재구성하는 방법>(The Future of Truth)의 저자 스티븐 로젠바움이 가짜 인용문 수록을 인정했다. AI의 신뢰성에 대한 의문이 다시금 주목받고 있다.

21일 뉴욕타임스(NYT)에 따르면 로젠바움은 NYT가 의문을 제기한 저서 속 가짜 인용문 등 거짓 정보를 직접 확인하고 인정했다. NYT는 지난 17일과 18일(현지시간) 이러한 오류를 발견하고 로젠바움에게 확인을 요청했다. 18일 밤 로젠바움은 성명을 내고 “소수의 부적절하게 귀속됐거나 합성된 인용문이 있었다”고 밝힌 뒤 자체 조사를 시작했다.

로젠바움은 책을 발간하기 위한 조사, 집필, 편집 등 과정에서 AI 도구인 챗GPT와 클로드(Claude)를 사용했다. 그는 “잘못된 인용문이 포함된 것은 사고였으며, 어떤 견해도 조작할 의도가 없었다”며 “편집자들과 함께 영향을 받은 모든 구절을 철저히 검토하고 신속히 수정하고 있다”고 말했다.

로젠바움은 미디어 업계에서 유명한 모임 주최자이자 비영리단체인 지속가능미디어센터(Sustainable Media Center)의 전무이사다. 그가 쓴 진실의 미래는 AI 시대의 진실을 다룬 책이다. 와이어드 매거진에 발췌본이 실리는 등 상당한 관심을 끌었다. 서문은 필리핀 전 대통령 로드리고 두테르테에 대한 집중 보도로 알려진 언론인이자 노벨평화상을 수상한 마리아 레사가 썼다.

로젠바움의 책에 담긴 모든 인용문이 잘못된 것은 아니다. 다만, 최소 6개 인용문에서 오류가 발견됐다. 책은 AI의 거짓말을 다룬 장에서 기술 저널리스트인 카라 스위셔의 말을 인용했다. 책에서 스위셔는 “가장 정교한 AI 언어 모델은 거울과 같다. 그것은 우리의 도덕성을 세련되고 유창하게 되비춰주지만, 결국 표면 뒤에는 비어 있다. (이하 생략)”고 말했다. 이 인용문에 대해 스위셔는 “그런 말을 한 적이 없다”고 설명했다.

출처를 잘못 밝힌 사례도 있다. 메러디스 브루사드 뉴욕대 교수의 책 <인공적 비지능>을 인용한 장에서는 인용문 자체는 사실이었다. 다만, 책이 아닌 라디오 인터뷰에서 밝힌 내용이었다. 브루사드는 “AI 환각이거나 잘못 귀속된 인용문인 것 같다”고 밝혔다.

로젠바움은 이번 일을 두고 “AI 보조 연구와 검증의 위험에 대한 경고가 된다면, 그것이 내가 이 책을 쓴 이유”라며 “이러한 AI 오류들이 (이 책의) 진실, 신뢰, AI, 그리고 그것이 사회와 민주주의에 미치는 영향에 대해 제기하는 더 큰 질문들을 약화시키지는 않는다”고 말했다.

손주형 기자 handbro@hankyung.com