“사람 속이던 해커, 이젠 AI도 속인다”…MS 연구진 경고

줄리아 디아멘트 MS AI 아키텍트 “연 1회 보안 점검으론 부족” 줄리아 디아멘트 마이크로소프트(MS) 이스라엘 보안 연구개발센터 CTO실 수석 AI 아키텍트. (링크드인 갈무리) 사람을 속여 정보를 빼내거나 특정 행동을 유도하던 사이버 공격이 인공지능(AI)까지 겨냥할 수 있다는 경고가 나왔다. AI 에이전트가 구매와 협상, 승인 등 사람의 의사결정을 대신하는 사례가 늘면서 공격자들이 AI를 속여 의도한 행동을 유도할 수 있다는 것이다.줄리아 디아멘트(Julia Diament) 마이크로소프트(MS) 이스라엘 보안 연구개발센터 최고기술책임자(CTO)실 수석 AI 아키텍트는 3일 판교 제2테크노밸리에서 열린 ‘한-이스라엘 사이버보안 포럼’(Israel-Korea Cybersecurity Forum 2026) 영상 강연에서 “앞으로 설득 공격의 대상은 사람이 아니라 또 다른 AI가 될 수 있다”고 말했다.디아멘트는 AI 기술의 발전으로 사이버 공격의 방식과 대상이 달라지고 있다고 진단했다.그에 따르면 기존 사회공학적 공격은 사람을 설득하거나 속여 특정 행동을 유도하는 방식으로 이뤄졌으나 AI 에이전트가 사람을 대신해 의사결정을 수행하게 되면서 공격자들이 사람뿐 아니라 AI의 의사결정 과정도 겨냥할 수 있게 됐다.그는 “지금까지는 AI가 인간의 판단에 어떤 영향을 미치는지 생각해 왔지만 점점 더 많은 결정이 AI 에이전트로 넘어가고 있다”며 “구매와 추천, 협상, 승인 등이 대표적”이라고 설명했다.이어 “AI가 다른 AI에 영향을 미치는 ‘AI-to-AI 영향력 행사’가 특히 흥미로운 분야가 될 것”이라며 “AI의 자율성이 높아지고 인간의 개입이 줄어들수록 시스템의 의사결정을 겨냥한 공격이 증가할 수 있다”고 전망했다.디아멘트는 이러한 변화에 대응하기 위해 기존 보안체계의 운영 방식도 달라져야 한다고 강조했다.특히 보안 점검에서 발견한 문제를 일회성 결과로 남기는 것이 아니라 반복적으로 검증할 수 있는 평가 항목으로 전환해야 한다고 했다.그는 “1년에 한 번 침투 테스트를 하거나 제품 출시 전 한 차례 보안 평가를 수행하는 것으로는 충분하지 않다”며 “시스템을 지속적으로 공격하고 검증하는 ‘상시 레드팀 테스트’(Continuous Red Teaming)가 필요하다”고 말했다.레드팀 테스트는 실제 공격자의 관점에서 시스템의 취약점과 보안 대응 능력을 점검하는 방식이다.그는 “레드팀 테스트는 시스템이 어떻게 행동하는지...