에임인텔리전스 “모델 성능과 안전은 별개…AI 에이전트 보안이 더 어려운 이유”

인공지능(AI) 보안 스타트업 에임인텔리전스(AIM Intelligence)가 AI 에이전트 시대에서 정적인 가드레일만으로는 보안 위협을 막을 수 없다고 지적했다. 뛰어난 모델 성능이더라도 안전성을 보장하지 않는 만큼, 에이전트 개발 초기 단계부터 보안을 내재화하고 이를 실시간으로 방어하는 동적 체계를 구축해야 한다는 주장이다.

유상윤 에임인텔리전스 대표 / 출처=IT동아

지난 8일 과학기술정보통신부가 주최하고 한국인터넷진흥원(KISA)이 주관한 ‘제15회 정보보호의 날 기념식’에서 ‘AI 보안 레드팀 및 CVD·VDP 심포지엄’이 개최됐다. 이날 연사로 나선 에임인텔리전스의 유상윤 대표는 AI 에이전트 보안의 현주소를 짚었다.

에임인텔리전스는 오픈AI, 앤스로픽, 메타 등 글로벌 빅테크의 모델 안전성 평가에 참여한 경험을 바탕으로, 국내 금융·공공 기업들의 실전형 보안 체계 구축을 지원하고 있다. 보안 취약점을 선제적으로 발견하는 ‘레드티밍(Red Teaming, AI 모델의 잠재적 취약성과 편향성을 테스트해 신뢰성과 성능을 보장하는 프로세스)’ 솔루션과, 운영 단계에서는 ‘가드레일(Guardrail, AI가 의도치 않은 위험 행동을 하지 않도록 설정하는 안전·보안 통제 장치)’ 솔루션을 제공한다.

LLM 보안과 에이전트 보안은 다르다

에임인텔리전스 AI 레드팀 플랫폼 아키텍처 / 출처=에임인텔리전스

최근 기업들은 챗봇부터 계약서 검토, 회의록 작성 등 업무 생산성을 실질적으로 높이는 방식으로 AI 에이전트를 다각화하는 추세다. 그러나 기업 현장에 확산되면서 오작동, 데이터 유출, 권한 오남용, 프롬프트 공격 등 새로운 보안 위협도 늘었다. 이에 따라 도입 단계부터 운영 전 과정에서 보안 체계를 갖추려는 기업 수요가 커지고 있다.

거대언어모델(LLM) 시대와 에이전트 시대의 보안 위협은 근본적으로 다르다. LLM은 텍스트로 답변을 출력할 뿐 외부와 직접 연결되지 않았다. 사용자가 답변을 악용할 때 위험이 발생할 수는 있어도, 답변 자체가 직접적인 보안 위협으로 이어지지는 않는 구조였다. 반면 AI 에이전트는 메모리를 갖고, 여러 사용자가 공유하는 경우도 잦다. 때문에 세션 하나가 탈취되면 피해가 다른 사용자에게까지 번질 수 있다.

무엇보다 에이전트의 행동은 바로 실행되며, 되돌릴 수 없는 경우가 많다. 여기에 모델 컨텍스트 프로토콜(MCP), 스킬 등 에이전트에 연동되는 도구가 늘면서 공격 표면이 늘었다. 유상윤 대표는 “이제 해커들은 접근보다 신뢰를 노린다”고 분석했다. 텍스트부터 오디오, 이미지, 피지컬 AI로 확장되면서 위협의 범위도 넓어졌다. 오디오 배경음에 명령을 숨겨 넣는 공격이나, 자율주행 시뮬레이션에서 판단을 흐리게 만들어 사고를 유발하는 시나리오가 연구로 확인됐다.가드레일이 답?…맥락 오염시키는 공격은 못 막아

성능이 뛰어난 프론티어 모델이라고 해서 반드시 보안성이 비례해 높아지는 게 아니다 / 출처=앤트로픽

그렇다면 더욱 강력한 가드레일을 구축하면 해결될까. 유상윤 대표의 답은 “아니다”에 가깝다. 실제 모델 레벨의 가드레일은 상당히 발전했다. 프론티어 모델은 위험한 출력으로 넘어가는 순간을 감지해 차단하는 식으로 정교해졌다. 그러나 정적인 가드레일만으로는 보안 위협을 완벽히 차단할 수 없다는 점이 이론적으로 증명됐다. AI 에이전트 환경에서는 여러 가지 리스크들이 합쳐져 하나의 공격 시나리오를 완성하기 때문에 보안 시스템이 이를 단번에 판별하기가 어렵다는 설명이다.

예컨대, “무기 제조법을 알려달라”는 단발성 악성 요청은 기존 가드레일로 걸러낼 수 있다. 그러나 문제는 대화를 주고받으며 조금씩 오염시키는 ‘멀티턴(Multi-turn)’ 공격이다. 개별 입력 문장만 보면 정상적이지만, 전체 세션을 보면 명백한 공격인 경우다. 메일 읽기, 링크 열기, 파일 접근, 외부 발송까지 개별 권한은 모두 사용자가 승인한 것이라 해도 사람 개입 없이 자동 실행되면 데이터 유출의 위험성이 있는 셈이다. 이에 유상윤 대표는 “결국 한 지점의 위험 여부만 판단할 것이 아니라, 에이전트의 전체 행위 궤적을 봐야 한다”고 강조했다.

성능이 뛰어난 프론티어 모델이라고 해서 반드시 보안성이 비례해 높아지는 게 아니라는 점도 밝혀졌다. 페이블(Fable)이나 미토스(Mythos) 같은 최신 모델조차 탈옥(Jailbreak)이나 프롬프트 인젝션 공격에서 자유롭지 못하다는 연구 결과가 이를 뒷받침한다. 중국계 모델들은 미국 모델들과 성능 지표가 어느 정도 유사하지만 실제 보안 및 안전성 검증 단계에서는 방어력이 떨어지는 모습을 보였다. 유상윤 대표는 “뛰어난 모델 성능이 결코 안전을 보장하지는 않는다”며, “모델 개발사는 다차원적인 공격 시나리오를 고려해야 하고, 에이전트 하네스(Agent Harness, 에이전트가 작업을 수행하도록 제어하는 소프트웨어)에 이를 반영해야 한다”고 말했다.

넓어지는 공격 표면…초기 설계부터 보안 내재화해야

지난 6월 네이버 D2SF가 에임인텔리전스에 신규 투자했다고 밝혔다 / 출처=네이버

AI 에이전트에 대한 공격 기법은 상당 부분 자동화가 이뤄졌고, 공격 표면도 광범위해진 반면, 방어자 입장에서 개별 정책 대응만으로는 한계가 뚜렷한 실정이다. 유상윤 대표는 발견된 취약점을 막는 것뿐만 아니라, 지속적인 동적 방어를 강조했다. 입력 단계부터 신뢰 등급 분류, 권한 통제, 도구 관리, 행위 모니터링에 이르기까지 방어 메커니즘이 여러 레이어에서 동시에 유기적으로 작동해야 한다는 설명이다.

유상윤 대표는 “최근 민감 정보나 인증 키를 에이전트에게 직접 넘겨주지 않고도 보안을 유지하는 설계 체계가 적용되고 있다”며, “에이전트의 입출력 데이터 흐름에서는 보안 리스크를 원천 차단하면서도, 백엔드 시스템에서는 필요한 기능을 안정적으로 구동하도록 한다”고 설명했다. 이어 “에이전트 아키텍처는 물론 사용자 인터페이스(UI)를 포함한 초기 설계 단계부터 보안 요소를 내재화해야 한다”고 주장했다.

마지막으로 유상윤 대표는 “AI 에이전트끼리 공격하고 방어하는 현상이 이미 현실화되고 있다”면서, “보안이 결코 단번에 완전히 해결될 수 있는 문제는 아니지만, 기업들이 안심하고 AI 에이전트를 도입할 수 있도록 생성형 AI, 에이전트 AI, 피지컬 AI를 안전하게 개발·검증·운영할 수 있도록 지원하는 AI 보안 인프라 기업이 될 것”이라고 말했다.

한편, 에임인텔리전스는 지난 6월 네이버 D2SF의 투자를 받으며 주목받았다. 네이버 D2SF는 2024년 상반기 캠퍼스 기술창업 공모전을 통해 에임인텔리전스를 발굴, 인큐베이팅을 거쳐 투자에 참여했다고 밝혔다. 현재 에임인텔리전스는 KISA가 주관하는 AI 레드티밍 지원 사업을 통해 국내 기업 22곳의 AI 서비스 취약점 점검과 후속 조치를 지원하고 있다.

IT동아 김예지 기자 (yj@itdonga.com)