[김태형의 혁신의기술] 〈60〉AI 에이전트 시대, 우리는 누구에게 질문할 것인가〈하〉

김태형 단국대 대학원 데이터지식서비스공학과 교수·정보융합기술·창업대학원장 “에이전트의 행동을 이해할 수도, 지켜볼 수도, 격리할 수도 없다면 그것은 배포할 준비가 되지 않은 것이다.” 영국 국가사이버보안센터(NCSC)가 지난 5월 내놓은 문장이다. 기준을 성능이 아니라 통제 가능성에 뒀다. 일례로 월요일 아침의 구매 담당자를 떠올려 보자. 주말 사이 AI 에이전트가 원자재를 발주했다. 수량도 거래처도 지난주와 다르다. 팀장의 “왜 이렇게 발주했는가?”라는 질문에 답하려면 무엇이 달라져야 할까. 발주 내역에는 참조한 재고 자료와 적용한 납기 조건, 구매 기준이 남아 있어야 한다. 정해둔 금액을 넘거나 거래처가 바뀌면 실행을 보류하고 담당자가 근거를 살펴 승인하거나 수정을 요청하도록 한다. 문제가 생겼을 때 대응할 사람도 정해둬야 한다. 그래야 “확인해보겠습니다”라는 말이 실제 조치로 이어진다. 판단·기록·소명의 공백은 다른 업무에도 생긴다. 고객 정보 조회와 금융 거래, 채용에서도 조직은 무엇을 맡겼고 어떻게 실행됐는지 설명할 수 있어야 한다. 통제는 성능의 문제가 아니다. 보안 현장에서는 위협이 현실화됐다. 글로벌 보안기업인 그레이노이즈가 9월 9일 공개한 분석에 따르면, 한 공격자가 수백 개의 AI 에이전트를 동원해 48개국 395개 조직의 시스템을 침해했다. 공격자가 정한 국가별 제외 조건도 일부 지켜지지 않았다. 실행 능력이 뛰어나다고 정해진 범위까지 잘 지키는 것은 아니라는 경고다. 국내에서도 경고가 나왔다. 금융보안원은 9월 17일 세미나에서 금융권을 겨냥한 AI 에이전트 기반 공격 시도를 소개했다. 데이터와 시스템을 연결하는 응용프로그램 인터페이스(API)가 주요 공격 표적으로 떠오르고 있다며 보안관리 강화를 강조했다. 업무를 위해 연결한 통로가 공격의 경로도 될 수 있는 것이다. 외부 공격과 내부 에이전트의 잘못된 실행은 서로 다른 문제다. 다만 접근 범위를 정하고, 이상 행동을 발견해 멈출 체계가 필요하다는 점은 같다. 이러한 관리 책임은 법에서도 강화되고 있다. 9월 11일 시행된 개정 개인정보 보호법과 시행령은 사업주·대표자의 최종 책임을 명시하고 개인정보 보호책임자(CPO)의 권한과 책임을 강화했다. 고의·중과실에 따른 반복 위반이나 대규모 피해 등 법정 요건에 해당하면 전체 매출액의 최대 10%까지 과징금을 부과할 수 있다. 사전 예방 투자와 보호 체계 운영 노력은 과징금 감경에 반영한다....