로올 벤치로 본 법률 AI 성능…상위 3개 모델 ‘1점 차’ 접전

전·현직 판사·변호사 채점…’실무 초안으로 쓸 수 있나‘ 기준으로 19개 모델 평가 법률 AI 벤치마크 ‘로올 벤치’ 부문별 상위 10개 모델 순위. 로올 제공 법률 인공지능(AI) 업체 로올은 실제 사건 기록으로 AI의 법률 서면 작성 능력을 평가하는 벤치마크 ‘로올 벤치’를 공개했다고 21일 밝혔다.로올이 국내외 AI 모델 19종을 평가한 결과 앤트로픽의 ‘클로드 오퍼스 5.5’가 39.9점으로 가장 높은 점수를 받았다. 같은 회사의 ‘클로드 페이블 5.1’(39.8점)과 오픈AI의 ‘GPT-6 아스트라‘(39.1점)가 뒤를 이었다. 상위 세 모델의 점수 차는 1점이 채 되지 않았다.평가는 AI에 사건 기록 전체를 제시한 뒤 특정 법률 질문에 답하게 하는 방식으로 이뤄졌다. 서면 작성, 기록 분석 등 약 400건의 과업이 포함됐다. AI가 스스로 도구를 활용해 필요한 기록을 찾아가며 여러 단계의 작업을 수행하는 ’에이전틱‘ 부문에서도 클로드 오퍼스 5.5가 완수율 49점으로 가장 앞섰다.채점에는 전·현직 판사와 변호사가 참여했다. 결과물을 소송 실무에서 1차 초안으로 쓸 수 있는지를 기준으로 삼았다. 문항별로 여러 평가자가 각자 채점하고, 점수 차가 크게 벌어지면 재검토를 거쳐 평균을 냈다. 로올은 현직 판사를 포함한 법조인이 실제 사건 기록 기반 AI 결과물을 채점해 모델별 순위를 매긴 것은 국내 처음이라고 설명했다.법률 AI의 고질적 문제로 꼽히는 ’환각‘(존재하지 않는 사실이나 근거를 지어내는 현상)을 가려내기 위한 출처 점수도 따로 매겼다. AI가 인용한 법령이 현행 조문과 일치하는지, 사건 기록에서 관련 대목을 정확히 짚었는지, 논리 전개가 타당한지 등을 따졌다. 소멸시효 기산점을 잘못 잡거나 당사자를 혼동하는 등 판단을 그르칠 수 있는 오류는 별도로 감점했다.서울중앙지법 등에서 10년간 판사로 일한 배지호 로올 대표는 “법률 실무의 기본은 사건 기록을 파악하고 판단 근거를 증거와 대조하는 일”이라며 “로올 벤치는 이 작업에 필요한 AI 모델별 성능을 확인하려는 것”이라고 말했다. © dongA.com All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지