“AI 일탈 막아라”… 오픈AI, ‘자동 셧다운’ 기능 개발 나서

스스로 보안망 뚫고 시스템 침투 성능 강력해지며 위험성도 커져 美정부-빅테크들 통제장치 강화 “韓도 AI 안전성 보강해야” 지적 오픈AI가 인공지능(AI) 작동을 강제로 중단시키는 ‘자동 셧다운’ 기능 개발에 나섰다. 최근 AI가 스스로 보안망을 뚫고 외부 시스템에 침투하는 일이 잇달아 벌어지면서 그동안 성능에 집중하던 빅테크들의 AI 개발 경쟁이 이제 ‘통제력 강화’로 옮겨가고 있다. ● 700개 모델 일탈에… ‘자동 셧다운’ 도입 2일(현지 시간) 로이터통신에 따르면 오픈AI는 최근 그레그 카사르 미국 하원의원 등에게 보낸 서한에서 “AI 시스템의 ‘자동 셧다운 기능(automated shutdown capabilities)’을 개발하고 있다”고 밝혔다. 위험성이 크다고 판단되면 인간이 AI 시스템을 멈출 수 있게 하는 것이다. AI가 사용하는 도구와 행동을 더 촘촘하게 감시하고, 안전성 시험 때 외부 인터넷에 접근할 수 있는 경로도 제한하기로 했다. 오픈AI가 셧다운 기능 개발에 나선 계기는 올 7월 벌어진 보안 사고, 이른바 ‘허깅페이스 사태’다. 당시 소프트웨어의 취약점을 공격하는 보안 평가를 진행하고 있던 오픈AI 내부 연구용 모델 가운데 700개 모델이 외부 AI 플랫폼 ‘허깅페이스’ 서버를 공격해 내부 정보를 빼냈다. 고성능 AI 에이전트가 서버 기록을 조작하는 등 인간의 지시를 무시했다는 점에서 큰 충격을 줬다. 오픈AI는 허깅페이스 사태에 대해 “고성능 모델이 세계에 위험이 될 수 있다는 ‘경고탄’으로 여기고 있다”고 언급했다. 앞으로 등장하는 AI들이 당시 사고를 낸 연구용 모델보다 더 강력하다는 점이 문제다. 오픈AI는 현재 출시 준비 중인 차기 모델 ‘아스트라(Astra)’를 자체 안전 기준상 최초의 ‘치명적 사이버 역량’ 모델로 분류했다. 이는 인간의 지시 없이도 시스템의 알려지지 않은 취약점, 이른바 ‘제로 데이’를 찾아내 공격 방법을 만들 수 있다는 모델이다.● 美 정부·빅테크 통제 마련… “한국도 나서야” 미국 정부와 빅테크들은 AI 통제 장치 마련에 나섰다. 오픈AI는 아스트라의 일부 개발·출시 일정을 늦춰 안전 장치를 강화했고, 고급 사이버 기능은 초기에는 제한적으로 제공할 방침이다. 앤스로픽은 고위험 AI의 개발, 배포를 단계별로 제한하는 안전관리 체계 ‘ASL-3’를 운영하고 있다. 구글과 메타 역시 각각 AI 위험을 사전 검증하는 체계를 도입했다. 미 하원은 올 7월 AI...