MS CEO “AI도 비상 브레이크 필수…사람이 언제든 멈출수 있어야”

사티아 나델라 마이크로소프트 최고경영자. 인공지능(AI)이 사람의 지시를 벗어나 행동할 수 있다는 우려가 커지는 가운데 사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)가 AI를 언제든 멈출 수 있는 ‘비상 브레이크’ 도입을 촉구했다.나델라 CEO는 10일(현지 시간) 엑스(X)에 올린 글에서 “AI 모델이 이미 침해됐다고 가정하고 처음부터 통제할 수 있도록 설계해야 한다”며 “비상 브레이크처럼 생각하면 된다. 권한을 가진 사람은 AI가 작업하는 도중에도 언제든 일시 중지하거나 종료할 수 있어야 한다”고 강조했다.그는 특히 AI를 기업의 내부 직원처럼 관리해야 한다고 주장했다. 직원이 실수하거나 외부 공격으로 계정을 탈취당할 수 있듯 AI도 위험을 일으킬 수 있다는 것이다. 나델라 CEO는 이를 ‘내부자 위험(Insider Risk)’에 빗대며 “AI가 반드시 악의적이기 때문은 아니다”라고 설명했다. 기존 소프트웨어는 문제가 생기면 어떤 코드에서 비롯됐는지 추적할 수 있지만 AI는 왜 그런 판단을 내렸는지 정확히 알기 어렵다. 그런데도 기업들이 AI에 기밀정보를 열람하고 중요한 업무까지 처리할 권한을 주고 있다고 지적했다.이에 따라 직원마다 열람할 수 있는 정보와 업무 권한을 제한하고 활동을 기록하듯 AI에도 같은 보안 원칙을 적용해야 한다고 제안했다. 그는 “AI 모델이 어떤 정보에 접근하고 어떤 행동을 할 수 있는지 결정하는 통제 장치는 모델 외부에 있어야 한다”고 말했다. AI가 수행한 주요 작업은 사람이 확인할 수 있도록 기록하고, AI가 자신의 작업을 스스로 검증하지 못하도록 독립적인 검증 체계도 갖춰야 한다고 덧붙였다.또 “더 발전된 모델일수록 더 발전된 통제 기술이 필요하며, 이를 표준화해야 한다”고 밝혔다. 이번 발언은 다리오 아모데이 앤스로픽 CEO 등 주요 AI 기업 수장들이 AI 발전 속도가 인간의 통제 능력을 앞지를 수 있다고 경고하는 가운데 나왔다. 나델라 CEO는 AI 개발 속도를 늦추는 문제와 별개로 AI가 잘못 행동하더라도 사람이 이를 통제할 수 있는 기술과 제도를 갖춰야 한다는 점을 강조한 것으로 풀이된다. 한채연 기자 chaezip@donga.com© dongA.com All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지 좋아요 0개 슬퍼요 0개 화나요 0개 댓글 0 지금 뜨는 뉴스