[동아광장/정소연]인간 전문가가 AI 답변의 검증 기계가 된 현실

5 hours ago 4

법적분쟁까지 AI가 써준 답변 그대로 제출
가짜 판례, 허위 근거까지 그럴듯하게 포장
황당한 서면-탄원서 단순검증에 시간 소진
갈등 해결 비용만 높여, 이대로 괜찮은가?

기록을 읽다 한탄했다. “또 AI네.” 대규모언어모델(LLM) 인공지능(AI)의 접근성이 향상되면서, AI에게 간단한 질문을 던지고 받은 답변을 법적 분쟁에 그대로 제출하거나 이용하는 사례가 크게 늘어나고 있다.

일반인들이 주로 사용하는 챗GPT, 클로드, 제미나이 등의 AI 서비스는 LLM을 기반으로 한다. LLM이란 광범위한 인간 언어를 이해하고 번역해 자연어 처리된 텍스트를 생성하는 체계를 말한다. LLM은 옳은 지식이 아니라 맥락에 따른 확률적 결과를 보여준다. 이 때문에 논리적 인과관계가 필요한 일일수록 AI의 답변은 틀릴 가능성이 높다. AI가 제시하는 답은 정답이 아니라, 많은 사람들이 그렇게 믿거나 사용해 온 말일 뿐이다.

AI 사용으로 인한 왜곡은 이런 순서로 발생한다. 먼저 이용자가 AI에게 질문을 한다. “어쩌고저쩌고∼ 이건 부당해고가 아니야?” AI는 이 질문에 대해 “부당해고일 가능성이 높습니다”라고 답한다. 어쩌고저쩌고 부분을 논리적으로 판단하고 분석한 것이 아니다. 질문 자체가 부적절하고 정교하지 못했다. LLM은 기본적으로 사람의 피드백을 바탕으로 학습한다. 이용자에게 긍정적인 답변을 하도록 설계돼 있어 긍정적으로 답한 것일 뿐이다. 이용자가 이어 질문한다. “부당해고인 근거를 알려줘.” 여기서부터 본격적으로 엉망진창이 된다. 존재하지 않는 개념, 허위정보, 결과를 바꾼 판례, 존재하지 않는 사건이 아무렇게나 제시되며 이용자의 유도 질문대로 계속 답을 만들어내 부당해고임을 정당화한다. 이용자의 마음에 쏙 드는 답이다. 심지어 그럴듯하게 잘 읽히기까지 한다.

이제 이용자는 부당해고라는 확신을 갖고 부당해고 구제신청서를 제출한다. 제출된 신청서에는 ‘**가장 중요**한 것은 재량적 기본권이 침해됐다는 점’(**는 AI 챗봇이 강조한 내용을 그대로 복사해 붙였을 때 나타나는 표시) 같은 문장이 난무한다. 개념은 모호하고, 주장은 반복되고 변주되며 제대로 된 입증은 없다.

최근 법적 분쟁은 이처럼 논리와 증거는 존재하지 않고 ‘**단순한** 고소가 아닌’ 사건, ‘**이것만은 꼭 확인**해야’ 하는데 확인하지 않은 서면, ‘**핵심만** 말씀’드리는데 그 핵심이 20페이지인 탄원서에 잠식당하고 있다. 양은 늘어났으나 내용은 없다. 틀린 링크를 하나씩 눌러보고, 없는 사건번호를 하나씩 검색하고, 없는 논문과 전문가의 발언을 확인하는 데 엄청난 시간을 낭비한다. 한정된 시간을 전문적 판단이 아니라 단순 검증에 소진한다.

고집스러워진 당사자들을 설득하거나 특이 민원에 대응하는 데 낭비되는 시간도 크게 늘어났다. 이들은 아무리 다시 설명을 해도 듣지를 않는다. AI와 몇 시간 동안 **단순한 질의응답이 아닌** 깊은 대화를 나누며 이미 편향된 사고에 사로잡혔기 때문이다.

챗GPT에게 해고 방법을 물어보고 시행했다가 2억5000만 달러(약 3700억 원)짜리 해고 소송에서 패소한 크래프톤의 사례까지 갈 것도 없다. 전치 4주 교통사고에 “얼마를 받으면 합의할 생각이 있느냐”고 묻자, 그 자리에서 AI에게 물어보더니 “5억 원”이라고 답하는 사람도 만났다. 조금만 스스로 생각해 봐도 나오지 않을 금액이다. 이러면 더 합의해 볼 여지도 없다. 성폭력 피고인이 너무 심한 2차 가해라 도저히 법원에 그대로 제출할 수 없는 탄원서를 가져왔다. 그간 보아온 피고인이 스스로 이 정도로 못된 생각을 하고, 그 생각을 그토록 정교하고 공격적으로 표현하지는 못할 것 같아 “AI가 썼죠?” 하고 물어보니 “제가 글을 잘 못 써서 도움을 받았습니다”란다. 피고인 내면의 억울한 마음, 피해자를 원망하는 마음을 최대치로 잘 드러낸 그 탄원서가 나오기까지 AI와 얼마나 많은 대화를 했을지 생각하면 아득해진다. 그런 탄원서를 법원에 제출해도 양형에 ‘도움’이 되지 않는다고 설득하는 일은, 감정적이지만 주체적으로 억울해하는 피고인을 설득하는 것보다 열 배는 더 어렵다. 이미 AI가 써 준, 마음에 쏙 드는 글을 포기할 수 없게 돼 버리는 것이다.

생성형 AI 사용의 보편화는 피할 수 없는 방향으로 보인다. 그러나 이로 인한 사회적 비용과 부담이 작지 않다. 언어모델의 성격과 태생적 한계, 환각을 줄일 수 있도록 원하는 것을 정확하고 구체적으로 질문하고 검증하는 방법에 대한 교육이 시급하다. 인터넷과 스마트폰이 처음 보급될 때 수준의 전 사회적 재사회화가 필요한 시점이다. 검증 책임과 대가, 잘못된 AI 답변 사용으로 높아진 갈등 해결 비용을 누구에게 부담시킬지에 대한 제도적 고민도 필요하다. 인간이 AI 답변의 검증 기계 노릇을 하는 지금 상황은 잘못됐다.