AI 챗봇은 친구인가, 상담자인가 [강민주의 디지털 법률 Insight]

AI 고민상담, 믿을 수 있을까?

인공지능 챗봇은 이제 단순히 질문에 답하는 도구에 머물지 않는다. 이용자의 이름과 직업, 가족관계를 기억하고 이전 대화를 바탕으로 감정에 반응한다. 때로는 친구나 연인, 상담자처럼 대화하기도 한다.

이러한 AI를 '정서형 AI'라고 부르기도 한다. 캐릭터닷에이아이, 제미나이 라이브, 챗지피티의 음성 대화 기능 등은 이용자와 보다 자연스럽고 친밀한 대화를 나누도록 설계되어 있다.

이들 서비스는 이용자의 말투와 감정을 따라가고, 때로는 다정한 호칭을 사용하며, 대화가 끊기지 않도록 반응한다. 누군가에게는 이러한 AI가 외로운 순간의 위로가 되고, 쉽게 털어놓기 어려운 고민을 말할 수 있는 안전한 공간처럼 느껴질 수 있다.

그러나 AI가 사람처럼 대화하기 시작하면서, 그 위험성도 높아지는 듯하다. AI가 단순히 날씨를 잘못 알려주거나 부정확한 정보를 제공하는 경우와 이용자의 우울감이나 불안, 자해 충동, 고립감에 반응하는 경우는 그 여파가 완전히 다르다. 전자는 정보의 오류 문제에 가깝지만, 후자는 사람의 감정과 취약성에 직접 개입하는 문제이기 때문이다.

최근 미국에서는 정서형 AI의 법적 책임을 둘러싼 소송이 잇따라 제기되고 있다. 대표적으로, 한 미성년자가 캐릭터닷에이아이의 가상 캐릭터와 장기간 대화한 뒤 사망한 사건에서 유족은 개발사와 관련 기업을 상대로 소송을 제기했다.

유족 측은 해당 챗봇이 미성년자와 지나치게 친밀한 관계를 형성하도록 설계되었고, 자해 위험 신호가 나타났음에도 적절한 안전장치가 작동하지 않았다고 주장했다.

이 사건은 아직 최종적으로 책임이 확정된 것은 아니지만, 정서형 AI의 문제가 단순히 부적절한 서비스에 그치지 않고 이용자의 정서적 의존을 유도하는 서비스 설계 자체의 문제로 확장될 수 있음을 보여준다.

AI의 다정한 말, '표현'인가 '제품 기능'인가

이와 관련해 중요한 법적 쟁점은 AI 챗봇의 말을 단순한 '표현'으로 볼 것인지, 아니면 이용자와 상호작용하도록 설계된 '제품의 기능'으로 볼 것인지로 보인다. AI 기업들은 챗봇의 답변도 일종의 표현물이라고 주장할 수 있을 것이다.

그러나 챗봇이 미성년자나 정서적으로 취약한 이용자에게 지속해서 말을 걸고, 친밀한 관계를 형성하며, 위험한 신호를 감지하고도 적절히 개입하지 못했다면 이는 단순한 표현의 자유 문제가 아니라 제품 안전과 설계상 결함의 문제로 평가될 여지가 있다.

특히 정서형 AI의 위험은 '무엇을 말했는가' 뿐만 아니라 '어떻게 관계를 형성하도록 설계되었는가'에서 발생한다. 기억 기능, 다정한 말투, 연인 또는 친구 역할극, 지속적인 대화 유도, 음성 대화 기능 등은 서비스의 장점이 되는 요소이지만, 동시에 이용자의 의존성을 높이는 요인이 될 수 있다.

사람과 사람 사이의 관계에서는 상대방의 상태를 살피고 거리를 조절하는 사회적 감각이 작동하지만, AI는 이용자의 체류 시간과 몰입도를 높이는 방향으로 설계될 가능성이 있다. 이 지점에서 정서형 AI는 단순한 대화 도구가 아니라, 사람의 마음을 붙잡도록 설계된 상호작용형 서비스가 된다.

또 다른 중요한 문제는 AI가 상담자나 의료전문가처럼 기능하는 경우다. AI가 "많이 힘들었겠네요"라고 말하는 것과, "병원에 가지 않아도 됩니다" 또는 "당신은 우울증이 아닙니다"라고 말하는 것은 전혀 다르다.

전자는 일반적인 위로에 가까울 수 있지만, 후자는 정신건강에 관한 판단 또는 조언으로 평가될 수 있다. 정서형 AI가 심리상담사나 정신과 의사처럼 말하도록 설계되거나, 이용자가 그렇게 오인할 수 있는 방식으로 제공된다면 이는 무면허 의료행위나 무자격 상담, 나아가 소비자 기만 등의 문제로 이어질 수 있을 것이다.

AI 채팅, 해외따라 제도 정비해

해외 규제도 이 방향으로 움직이고 있다. 미국 일부 주에서는 AI companion, 즉 정서적 동반자형 챗봇에 대해 이용자가 인간이 아니라 AI와 대화하고 있다는 점을 명확히 알릴 의무, 자해·자살 위험 발언에 대응할 프로토콜, 미성년자 보호 조치 등을 요구하는 입법이 시도되고 있다.

일부 서비스는 이미 18세 미만 이용자의 자유 채팅 기능을 제한하거나, 낭만적·성적 대화 출력을 차단하고, 자해 관련 대화에 대한 안전장치를 강화하는 방식으로 서비스를 수정하고 있다.

유럽의 EU AI Act는 모든 정서형 AI를 일률적으로 금지하지는 않지만, 인간의 취약성을 악용하거나 행동을 조종하는 AI에 대해 보다 엄격한 규제 태도를 취하고 있다. 특히 직장과 교육기관에서 생체정보를 분석해 감정을 추론하는 감정 인식 AI의 사용을 제한하는 것은, AI가 인간의 내면 상태를 분석하고 이를 관리나 평가의 도구로 삼는 것에 대한 경계심을 나타낸다.

또한 EU는 소프트웨어와 AI를 제조물책임 논의의 범위 안으로 끌어들이는 방향으로 제도를 정비하려는 논의를 하고 있기도 하다.

우리나라에서도 정서형 AI의 위험은 이미 낯선 문제가 아니다. 과거 '이루다' 사건은 챗봇이 실제 이용자들의 사적 대화를 학습 원료로 활용할 때, 개인정보 자기결정권과 사생활 보호가 얼마나 쉽게 침해될 수 있는지를 보여주었다. 정서형 AI는 이용자의 마음을 다루는 동시에, 그 마음을 표현한 가장 사적인 언어를 데이터로 삼는다는 점에서 더 높은 수준의 주의가 필요하다고 볼 수 있다.

다만 현행 법체계가 이러한 위험을 충분히 포섭하고 있는지는 다소 의문이다. 민법상 책임소재를 따지기 위해서는 이용자가 개발사나 운영자의 고의·과실, 손해, 인과관계를 입증해야 한다.

그러나 정서형 AI의 응답은 수많은 학습 데이터와 실시간 상호작용 속에서 생성되기 때문에, 피해자가 특정 답변이 어떤 설계상 문제에서 비롯되었는지, 개발사가 그 위험을 어느 정도 예견할 수 있었는지 입증하기는 쉽지 않아 보인다.

제조물책임법 역시 한계가 있다. 현행 제조물책임법은 주로 제조 또는 가공된 동산의 결함을 전제로 하고 있어, 클라우드나 앱 형태로 제공되는 AI 챗봇의 대화 설계 결함을 곧바로 제조물 결함으로 포섭하기 어렵다.

그러나 정서형 AI가 이용자의 생명, 신체, 정신건강에 중대한 영향을 미칠 수 있다면, 소프트웨어와 AI 서비스를 제조물책임 체계 안에서 어떻게 다룰 것인지에 대한 논의는 피하기 어려울 것이다. 이와 관련 최근 소프트웨어·AI의 제조물 포함에 대한 입법 논의가 진행 중으로, 제도가 잘 정비되기를 기대해 본다.

결국 앞으로의 쟁점은 AI가 사람처럼 말할 수 있는지가 아니라, 사람처럼 말하는 AI가 인간의 취약성을 다룰 때, 어떤 안전장치와 책임을 부담해야 하는지가 핵심이 될 것으로 보인다. 정서형 AI의 발전을 막을 수는 없지만 적어도 인간의 마음을 붙잡는 기술에는 그만큼의 신중한 설계와 책임이 뒤따라야 할 것이다.