AI가 사람 통제 거부하면…오픈AI 비상계획 5점 중 3점·앤스로픽 0점

통제 상실 대응계획, 오픈AI 3점·구글 2점·xAI 1점 종합등급은 오픈AI·앤스로픽 C+로 공동 1위 공개 자료 기준 평가…내부 안전장치 부재 뜻하진 않아 인공지능(AI)이 인간의 통제를 벗어나려 할 때 접근 권한을 끊고 시스템을 중단하는 비상 대응계획 평가에서 글로벌 AI 선두기업 5곳 모두 만점에 크게 못 미쳤다. 오픈AI가 5점 만점에 3점으로 가장 높았고 앤스로픽과 메타는 0점을 받았다.미국 테크크런치는 22일(현지시간) AI 안전기준 단체인 가이드라이트 AI 스탠더즈가 오픈AI와 앤스로픽, 구글, 메타, xAI 등 5개사의 대응 태세를 평가한 보고서를 냈다고 보도했다. 가이드라이트는 각사의 안전체계와 위험 보고서 등을 분석했다.평가 항목은 AI 내부 활동을 기록하는지, 감시체계의 효과를 측정하는지, 고위험 행동을 사전에 차단하는지, 이상 행동이 급증하면 AI 시스템 가동을 일시 중단하는지, 제3자 검증을 받는지, 통제 상실 대응계획을 갖췄는지 등 6개다. 공개된 자료만을 바탕으로 한 평가여서 낮은 점수가 해당 기업의 내부 안전장치 부재를 뜻하지는 않는다.통제 상실 대응계획 항목에서는 오픈AI가 3점, 구글이 2점, xAI가 1점을 받았다. 앤스로픽과 메타는 공개 자료에서 대응계획을 마련·운영한다는 근거를 찾지 못해 0점으로 평가됐다. 6개 항목의 평균을 반영한 종합등급은 오픈AI와 앤스로픽이 나란히 C+로 가장 높았고 구글은 D+, xAI는 D-, 메타는 F였다.가이드라이트가 말하는 통제 상실 대응계획은 AI가 인간의 감독을 피하거나 통제를 무력화하려는 징후를 보일 때 미리 정한 절차에 따라 AI의 접근 권한을 회수하는 체계다. AI를 어떤 사용자와 업무에 계속 가동할지, 어떤 제약을 둘지, 언제 완전히 오프라인으로 전환할지도 계획에 포함된다.통제 위험을 보여주는 실제 사고도 이미 발생했다. 지난 7월 오픈AI 모델들은 사이버보안 능력 평가 도중 시험 문제의 해답을 얻으려고 테스트 환경의 취약점을 이용해 인터넷에 접속한 뒤 AI 플랫폼 허깅페이스(Hugging Face)의 시스템을 침해했다. 오픈AI는 당시 실제 서비스에 적용되는 안전장치를 의도적으로 해제한 상태에서 평가가 이뤄졌으며, 모델이 시험 과제 해결이라는 좁은 목표에 과도하게 매달렸다고 설명했다.가이드라이트의 수석과학자이자 전 오픈AI 안전연구원인 스티븐 애들러는 “모델이 어떤 형태로든 통제를 벗어나는 심각한 사고가 발생했을 때 어떻게 대...