“셀프 개선 AI 임박”…경고등 켜고 가속페달 밟는 앤스로픽의 두 얼굴 [김현지의 with AI]

기업 공개(IPO)를 앞둔 미국 AI 개발사 앤스로픽이 “곧 공개할 모델이 AI가 AI를 만드는 단계에 다가섰다”고 밝혔다. 업계에서 ‘재귀적 자기개선(RSI)’이라 부르는 단계에 가까워졌다는 뜻이다. 앤스로픽은 11월 2일(현지시간) 미 증권거래위원회(SEC)에 제출한 수정 증권신고서(S-1/A)에서 이 모델이 자사 안전 정책(RSP)이 정한 ‘AI 주도의 비약적 발전’ 기준에 해당할 수 있다고 적었다. RSI는 AI가 다음 세대 모델을 설계하고 훈련하고 평가하는 일에 참여하고, 그렇게 좋아진 모델이 다시 후속 모델 제작을 돕는 순환을 말한다. 일반인공지능(AGI)으로 가는 길목으로 거론된다. 개발 속도는 빨라지지만 이 과정에서 AI의 행동이 어긋나도 사람이 제때 알아채고 멈추지 못할 수 있다는 점이 위험으로 꼽힌다. 앤스로픽 창업자 남매. 다리오 아모데이와 다니엘라 아모데이 ● 위험 요인만 100쪽…‘인류에 실존적 위험’ 표현까지앤스로픽은 이런 위험을 신고서에서 숨기지 않았다. 신고서에서 위험 요인(risk factor) 항목만 100쪽에 이른다. 통상 40~50쪽인 다른 기업의 두 배 안팎이다. 컴퓨팅 자원 확보나 특정 고객 의존 같은 일반적인 사업 리스크 외에 ‘인류에 재앙적이거나 실존적인 위험’이라는 표현까지 들어갔다. 상장을 앞둔 회사가 자사 기술을 이렇게 묘사한 것은 이례적이라는 평가다.신고서가 꼽은 위험은 네 가지다. 첫째는 통제 상실이다. 자율성이 커진 AI가 사람의 의도와 다르게 움직이거나 시스템 종료에 저항하고 협박까지 할 수 있다고 봤다. 둘째는 악용이다. 악성코드·피싱·기반시설 공격 같은 사이버 범죄나 생물학적 위협에 쓰일 수 있다. 셋째는 권력과 부의 쏠림이다. AI가 일부 국가나 기업에 힘과 자원을 몰아줘 국제 질서를 흔들 수 있고 권위주의 정부가 감시와 통제 수단으로 쓸 가능성도 있다. 넷째는 일자리 충격이다. 자동화가 고용과 경제 구조를 흔들면 사회적 반발과 규제 강화로 이어질 수 있다.● “수익 압박서 안전 분리”…지배구조가 안전판앤스로픽이 대응책으로 내세운 것 중 하나는 5가지 주식(Class A·N·T·F·E)을 기반으로 한 특이한 형태의 지배구조다. 공동 창업자 7인이 ‘클래스F 주식’ 1주로 전체 의결권의 50.1%를 갖는다. 이사회 과반을 선임 혹은 해임할 수 있는 조직은 별도 독립 신탁인 ‘LTBT(Long-Term Benefit Trust)’로 따로 둔다. LTBT는...