사티아 나델라: 초지능 시대, 모델도 내부자처럼 위험으로 다뤄야 한다

민감한 데이터에 접근하고 핵심 업무를 수행하는 초지능 모델을 내부자 위험으로 취급해야 함. 악의가 있어서가 아니라, 중요한 시스템에 접근하는 유능한 행위자는 실수하거나 침해당할 수 있기 때문임 모델의 행동을 특정 학습 데이터나 가중치 구성으로 추적하기 어려운 상황에서도, 모델 제공자의 보증이 사용 조직의 책임을 대신할 수는 없음 지능의 공급과 지능에 대한 권한을 분리하고, 접근 권한과 행동 통제를 모델 외부에 배치해야 함. 비결정적 모델을 결정적인 시스템 설계, 사람의 통제, 신뢰할 수 있는 운영 절차로 둘러싸야 함 사고 과정(CoT) 투명성과 모델 간 적대적 검증은 필요하지만 충분하지 않음. 불투명한 모델을 다른 불투명한 모델이 감시하는 중첩된 블랙박스에 머물 수 있음 신뢰할 수 있는 시스템은 모델 자체를 가장 많이 신뢰하는 시스템이 아니라, 모델을 가장 적게 신뢰해도 되는 시스템임. 관찰 가능성, 독립적인 검증과 통제, 격리, 사고 공개가 이를 뒷받침해야 함 지능의 공급과 권한을 분리해야 하는 이유 전통적인 소프트웨어에서는 행동을 특정 코드 경로로 추적할 도구와 역량이 있었지만, 오늘날 초지능 시스템에서는 같은 수준의 기계적 이해가 어려움 이를 구동하는 최첨단 모델은 전통적인 소프트웨어보다 더 유능하지만, 행동과 출력을 특정 학습 데이터 입력이나 모델 가중치 구성에 연결할 수 없음 그런데도 복잡한 에이전트 시스템과 모델에 가장 민감한 데이터에 대한 접근권과 핵심 업무를 대신 수행할 권한을 부여하고 있음 신뢰 아키텍처를 재검토해야 하며, 지능이 대신 수행하는 일에 대한 책임을 외부에 맡길 수 없음 모델 제공자의 보증도 이 책임을 면제하지 않음 중첩된 블랙박스의 추천, 답변, 행동을 단순히 수용하거나 거부하는 데 그쳐서는 안 됨 행동을 관찰하고 한계를 시험하며, 언제나 행동을 제한할 수 있는 시스템이 필요함 어려운 정렬 문제와 별개로, 격리와 거버넌스를 위한 공학적 접근부터 시작해야 함 비결정적 모델 주위에 강력하고 결정적인 시스템 설계, 사람의 통제, 신뢰할 수 있는 운영 절차를 두어야 함 기존 표준이 충분하지 않은 영역에는 산업 표준을 마련해야 함 최첨단 비공개 모델과 공개 가중치 모델 모두 내부자 위험으로 취급할 수 있음 악의 여부가 아니라, 중요한 시스템에 접근하는 행위자의 실수와 침해 가능성을 통제 구조에 반영하는 접근임 기업은 이미 수십 년 동안 신원 확립, 권한 제한, 활동 기록, 격리 경계 설정 ...