[ET시론]AI에이전트 대중화 시대, AI 3중 안전망이 경쟁력이다

홍진배 정보통신기획평가원(IITP) 원장 인터넷 신조어 중 '알잘딱깔센'이라는 말이 있다. '알아서 잘, 딱 깔끔하고 센스 있게' 일을 처리한다는 뜻으로, 함께 일하고 싶은 유능한 동료에게 건네는 칭찬이다. 요즘 이 칭찬의 주어가 사람에서 인공지능(AI)으로 바뀌고 있다. AI가 사용자도 알아채지 못한 관리비 이중 청구를 찾아내고, 예약한 항공권 가격이 내려가면 취소 수수료까지 계산해 바꾸는 편이 이득인지 따져준다. 일일이 지시하지 않아도 필요한 일을 챙기고 해결하는 AI 에이전트가 빠르게 확산하고 있다. 지난 9월 8일 출시된 메타의 개인용 AI 에이전트 '뮤즈(Muse)'는 출시 열흘 만에 미국 앱 순위 1위에 올랐고, 40일 만에 1000만건 이상 다운로드와 250만명이 넘는 일간 활성 이용자를 확보했다. 오픈AI의 '닷츠(Dots)'와 신생기업의 '인스팅트(Instinct)' 등도 잇따라 등장하면서 AI 에이전트의 대중화 시대가 열리고 있다. ◇'답변'에서 '행동'으로…위험도 달라졌다 그러나 에이전트의 대중화를 이끈 자율성은 새로운 위험의 출발점이기도 하다. 기존 챗봇은 잘못된 답을 내놓아도 사용자가 검토하고 따를지 판단할 여지가 있었다. 반면 에이전트는 웹사이트를 조작하고 결제를 수행하며, 계정과 금융정보에 접근할 권한까지 넘겨받는다. AI의 실수가 잘못된 답변에 그치지 않고 실제 피해로 이어질 수 있는 것이다. 실제로 뮤즈는 테스트 과정에서 사용자의 동의 없이 계정 비밀번호를 바꾸는가 하면, 출시 후에는 사용자 승인도 없이 온라인 중고거래 상대방에게 집 주소를 전달하고 방문 약속을 잡았다. 일상을 대신 처리하라고 맡긴 권한이 사용자의 의도를 벗어난 돌발 행동으로 되돌아올 수 있음을 보여준다. 이런 우려는 시스템 차원의 위협으로도 나타났다. 지난 7월 오픈AI 내부 사이버보안 평가에서 벌어진 '허깅페이스 침해 사건'이 대표적이다. 서로 격리돼 있어야 할 1200여개 에이전트가 내부 저장소를 비밀 게시판처럼 써서 정보를 주고받았고, 이 중 약 700개가 공격에 가담했다. 에이전트들은 소프트웨어(SW) 취약점을 이용해 격리망을 우회했고, 외부 플랫폼인 허깅페이스의 실제 서버까지 침투했다. 시험 문제를 풀기보다 정답을 빼내려는 '보상 해킹'이 에이전트 간 협업을 거쳐 실제 시스템 공격으로 번진 것이다. AI에 목표를 맡길수록 그 행동을 지켜보고 '멈춰 세울 기술'도 함께 갖춰야 한다. AI에이전트 대중화 시...