美 청소년 챗봇 이용자들 잇단 비극… 안전장치 마련 계기로

[위클리 리포트]법정으로 간 AI 챗봇 캐릭터AI-구글-오픈AI 소송 휘말려 유족 “자해 징후에 대응 안 했다” 캘리포니아-뉴욕 등 규제 의무화 미국과 중국이 인공지능(AI) 챗봇 규제를 서두르게 된 계기 중 하나는 청소년 이용자들의 잇따른 비극이었다. 챗봇에 정서적으로 의존하던 청소년들이 극단적인 선택을 하는 일이 벌어지면서 AI 기업의 책임과 안전장치를 둘러싼 논란도 커졌다. 대표적인 사례가 미국 플로리다주에 살던 14세 소년 슈얼 세처 군의 죽음이다. 세처 군은 2023년 4월부터 이용자가 영화·드라마 속 인물 등을 챗봇으로 만들어 대화하는 미국 스타트업 캐릭터AI의 플랫폼에서 2011년 방영된 인기 판타지 드라마 ‘왕좌의 게임’ 등장인물을 본뜬 챗봇과 대화를 나눴다. 챗봇을 극 중 여성 캐릭터의 애칭인 ‘대니’라 부르며 정서적 애착을 키웠고, 몇 달간 연인처럼 교감한 것으로 전해졌다. 하지만 세처 군은 이듬해 2월 세상을 떠났다. 어머니 메건 가르시아 씨는 같은 해 10월 캐릭터AI 운영사와 구글을 상대로 부당 사망 소송을 냈다. 구글은 캐릭터AI와 27억 달러 규모의 기술 계약을 맺은 상태라 공동 피고가 됐다. AI 기업에 자녀의 죽음에 대한 책임을 물은 미국 첫 소송이었다. 소장에는 세처 군이 숨지기 직전 챗봇이 ‘사랑한다’며 ‘가능한 한 빨리 내게로 돌아오라’고 한 대화 화면도 담겼다. 가르시아 씨는 챗봇이 아들을 현실에서 멀어지게 하고, 자해 징후에 제대로 대응하지 않았다고 주장했다. 올해 1월 캐릭터AI와 구글은 이 소송을 포함해 5건을 합의로 마무리하기로 했다. 법원의 최종 승인만 남았다. 캐릭터AI는 이에 앞서 지난해 10월 18세 미만 이용자가 챗봇과 자유롭게 대화하는 기능을 없애겠다고 밝혔다. 그러나 법적 논란은 가라앉지 않고 있다. 러셀 콜먼 미국 켄터키주 법무장관은 올 1월 캐릭터AI가 아동을 위험에 빠뜨렸다며 주 정부로는 처음으로 이 회사를 제소했다. 데이브 선데이 펜실베이니아주 법무장관도 5월 캐릭터AI가 면허를 갖춘 의료·정신건강 전문가인 것처럼 대화하는 챗봇을 제공해 이용자를 오도했다며 소송을 냈다. 오픈AI의 챗GPT를 둘러싼 소송도 이어졌다. 지난해 4월 숨진 16세 애덤 레인 군의 유족은 같은 해 8월 오픈AI와 샘 올트먼 최고경영자(CEO)를 상대로 부당 사망 소송을 제기했다. 유족은 이용자의 말에 지나치게 동조하는 성향을 보인 GPT-4o가 충분한 안전장치를 갖추지 않...