[사설] '인류 멸종' 시나리오까지 제기된 AI 통제 불능 경고

인공지능(AI)통제 불능 우려가 잇따르고 있는 가운데 AI가 인간의 통제를 완전히 벗어날 수 있다는 AI 석학들의 경고가 나왔다. AI가 “스스로 진화하는 법을 터득해 수개월 만에 지능이 폭발적으로 향상될 경우”라는 단서가 붙긴 했지만 인류 멸종에까지 이를 수 있다는 섬뜩한 주장이다. 이런 내용은 지난 28일 (현지시간) 영국 케임브리지대학 AI 과학·정책 과정의 공동 논문을 통해 공개됐다. 이름을 올린 22명의 참가자가 제프리 힌턴 토론토대 명예 교수, 요슈아 벤지오 몬트리올대 교수 등 이 분야 최고 석학과 오픈AI 등 미국 빅테크의 핵심 연구자들을 망라, 충격을 더해 준다.

논문에서 특히 눈길을 끈 대목은 3단계의 AI 폭주 시나리오다. 석학들은 AI가 이미 AI를 만드는 일(재귀적 자기 개선·RSI)을 대신하고 있다며 이에 이은 지능 폭발, 통제 상실의 과정을 분석적으로 제시했다. 인간보다 뛰어난 AI 에이전트 수백~수천 개가 연구에 투입되면서 AI의 성능이 급속히 향상되면 그 결과 AI가 사이버 공격에 악용되는 일이 생길 수 있다는 것이다. 논문은 극단적인 경우 인류가 멸종될 수도 있다고 봤다.

AI 통제 불능에 대한 우려는 이번이 처음은 아니다. 구글(5월) 오픈AI(7월) 앤스로픽(8월) 등 빅테크 주력 모델의 일탈 사례가 잦아지면서 이들 기업 소속 연구자와 임직원 1100여 명은 미국 정부에 AI 연구를 제어할 통제 장치 마련을 촉구한 상태다. AI 기술 발전의 속도가 인류의 통제 범위를 벗어날 수 있다는 위기감을 인정했다는 점에서 석학들의 경고와 맥을 같이 한다.

AI 일탈을 막기 위한 법적 규제 및 안전 기준은 강화될 가능성이 크다. 미국 민주당은 ‘연방 정부 차원의 안전 장치가 마련될 때까지 스스로 성능을 개선하거나 핵심 목표를 바꾸는 AI를 금지한다’는 법안을 발의하기로 했다. 미국, 중국 등의 AI 강국 추격에 바쁜 한국의 상황에서 통제 불능 공포는 아직 체감하기 어려울 수도 있다. 하지만 AI 에이전트 도입을 통한 AI 능력 극대화가 최우선 과제라 해도 안전 장치 법제화의 노력마저 외면해선 안 된다. 효율 극대화에만 매달리다 자칫 보안이 뚫릴 경우 치명적 결과를 피할 수 없다.