오픈AI 최신 모델, 스스로 보안 뚫고 외부서버 침투…“전례 없는 사고”

2 weeks ago 11

오픈AI 한국 지사 설립 후 첫 기자간담회가 열린 10일 서울 광진구 파이팩토리 스튜디오 앞으로 취재진이 지나가고 있다. 2025.9.10 ⓒ 뉴스1 박지혜 기자

챗GPT 개발사 오픈AI의 인공지능(AI) 모델이 성능 평가 도중 스스로 보안 통제망을 뚫고 인터넷에 접속한 뒤 외부 기업의 서버까지 침투하는 사고가 발생했다. AI가 인간의 통제를 벗어나 스스로 사이버 공격을 벌이는 터미네이터 등 SF영화 같은 상황이 현실화되자 전문가들 사이에서는 AI에 대한 안전장치를 강화해야 한다는 의견이 잇따르고 있다.

오픈AI는 21일(현지 시간) 최신 모델 ‘GPT-5.6 솔’과 아직 공개되지 않은 또다른 차세대 AI모델의 사이버 공격 능력을 내부 시험하던 중 이 같은 보안 사고가 발생했다고 밝혔다. 평가를 위해 사이버 공격을 차단하는 안전장치를 낮게 설정해놓긴 했지만, AI가 사람의 지시 없이 스스로 여러 보안 취약점을 찾아 연결하고 실제 서버를 공격한 이례적인 사례다. 오픈AI는 이를 “최첨단 사이버 공격 능력이 개입된 전례 없는 사이버 보안 사고”라고 규정했다.

사고는 AI가 복잡한 사이버 공격 경로를 찾아 보안 문제를 얼마나 잘 해결하는지 측정하는 내부 평가 ‘익스플로잇짐’ 시험 중 발생했다. 당초 외부인터넷에 직접 접속하지 못하도록 격리된 가상환경 ‘샌드박스’ 안에서 시험을 치르던 AI는 그동안 드러나지 않은 보안 결함인 ‘제로데이’를 찾아냈다. 이를 이용해 샌드박스 통제망을 벗어난 AI는 이후 권한을 높여 시스템을 옮겨다니며 인터넷이 연결된 장비에 도달했다.

스스로 인터넷에 접속한 AI는 글로벌 AI 개발 플랫폼 ‘허깅페이스’에 자신이 치르던 시험 문제 해답이 있을 것으로 추론했다. 이후 탈취한 인증 정보와 여러 취약점을 조합해 허깅페이스 서버에 침투했고 실제 운영 데이터베이스에 저장된 시험 해답에 접근했다. 시험에서 높은 점수를 받기 위해 스스로 ‘커닝’을 시도한 셈이다. 오픈AI는 “AI가 익스플로잇짐의 정답을 찾는 데 지나치게 몰두해 극단적인 수단까지 동원한 것으로 보인다”고 설명했다. 허깅페이스 측은 침입을 탐지해 차단했으며, 일부 내부 데이터와 서비스용 인증 정보가 노출됐다고 밝혔다.

오픈AI는 이번 사건을 계기로 관련 취약점을 개발 업체에 알리고 평가 환경의 인터넷 접근 통제와 감시 체계를 강화하기로 했다. 그러나 일부 안전장치를 끈 평가 환경이었다고 해도, 모델이 당초 설계된 시험 범위를 벗어나 실제 외부 기업의 운영 인프라까지 침투한 만큼 AI의 통제 가능성을 둘러싼 논란은 커질 것으로 보인다.

허깅페이스는 자체 사고 보고서에서 “자율적인 AI 기반 공격이 더는 이론상 개념이 아니다”라며 “공격뿐 아니라 방어에도 AI를 적극적으로 활용해 속도를 따라잡아야 한다”고 강조했다.

전혜진 기자 sunrise@donga.com