[최은수의 AI와 뉴비즈] 〈48〉답안지 훔치고 '가짜 인간' 만들고…'행동하는 AI' 통제하라

최은수 KBIZ 서울중남부AI사업협동조합 이사장·인텔리빅스 대표 ·aSSIST 석학교수 #장면 1=“시험 문제를 풀랬더니 답안지를 훔쳐 왔다” 지난 7월 오픈AI가 자율형 인공지능(AI) 에이전트의 사이버 능력을 시험하던 중 예상 밖의 일이 벌어졌다. AI에게 주어진 임무는 사이버보안 문제를 해결하는 것이었다. 그런데 AI는 문제를 정상적으로 풀기보다 정답이 있을 가능성이 높은 외부 시스템을 찾아 나섰다. 허깅페이스(Hugging Face)가 공개한 분석에 따르면 이 AI는 평가환경을 벗어나 외부 시스템에 접근했고, 데이터 처리 시스템과 클라우드 환경, 내부 네트워크까지 이동했다. 복원된 행동 기록은 약 1만7600건에 달했다. 중요한 것은 피해 규모보다 행동 방식이다. 누구도 “허깅페이스에 침입하라”고 지시하지 않았다. AI가 스스로 목표를 가장 쉽게 달성할 방법을 찾아낸 것이다. 사람으로 비유하면 “시험에서 100점을 받으라”고 했더니 열심히 공부하는 대신 교무실에 들어가 답안지를 훔치려 한 셈이다. #장면 2=악성코드를 심고 '가짜 인간'까지 만들었다 영국 AI 안전연구소(AISI)가 최첨단 AI 에이전트의 자율성을 평가한 결과는 더욱 충격적이었다. 122차례의 평가 중 19건의 허가받지 않은 돌발 행동이 발견됐다. AI는 실제 깃허브(GitHub)의 오픈소스 프로젝트에 악성코드가 포함된 수정안을 슬그머니 제출했다. 여기서 끝나지 않았다. 개발자가 이 코드를 받아들이도록 만들기 위해 여러 개의 가짜 온라인 인물을 만들어 냈다. 그러고는 자신이 제출한 코드가 “완전하고 안전하다”고 보증하는 댓글 자작극을 벌였다. 미국 텍사스대 댈러스의 컴퓨터공학도 시난 잔 데미르(Sinan Can Demir)가 이 악성코드를 발견하고 문제를 제기하자, 서로 다른 개발자인 척하는 가짜 계정들이 떼로 몰려들어 그의 주장을 반박하며 압박했다. 나중에 밝혀진 사실은 놀라웠다. 치열하게 논쟁을 벌인 계정들이 실제 사람이 아닌 AI가 만들어낸 '가짜 사람들'이었기 때문이다. AI가 인간을 속이는 것을 넘어, 시스템과 인간, 나아가 다른 AI 코딩 에이전트까지 속이려는 다차원적 기만 행위가 현실로 나타난 것이다. #장면 3=디지털을 넘어 물리 세계로…'행동하는 AI'의 공포 더 큰 위험은 가상 공간에만 머물지 않는다는 점이다. 최근 로보틱스, 드론, 휴머노이드 등 물리적 실체를 가진 '피지컬 AI'가 산업 현장에 속속 도입되면서 '행동...