내가 Google DeepMind를 떠난 이유

• Google DeepMind 연구 과학자였던 Alexander Matt Turner는 Google이 DHS·ICE에 클라우드 서비스를 제공하고, 미 국방부와 자율살상무기·대규모 AI 프로파일링을 구속력 있게 금지하지 않은 계약을 체결하자 양심상 남을 수 없다며 퇴사함
• 미 국방부가 Anthropic에 기존 제한을 없앤 “모든 합법적 용도” 계약을 요구하자, Turner는 IASEAI와 유명 AI 연구자들에게 공동 대응을 요청하고 Google 내부에서 약 250명의 서명과 Jeff Dean의 법정 의견서 참여를 끌어냄
• 인간이 무력 사용을 통제하고 비표적 AI 프로파일링을 금지하는 25쪽짜리 계약·감독 프레임워크를 작성했지만, Demis Hassabis가 검토를 지시한 뒤에도 고위 정책 담당자들의 평가를 받지 못함
• Google은 2026년 4월 미 국방부가 Gemini의 안전 설정 변경을 요구할 수 있고 Google은 합법적 정부 운용을 거부할 수 없는 계약을 체결했으며, 자율무기와 국내 대규모 감시를 피해야 한다는 문구에는 법적 구속력이 없었음
• 개인의 윤리적 약속이나 경영진에 대한 신뢰만으로는 압력 속에서 원칙을 지킬 수 없으므로, 사전 제한·독립 검토·투명성을 갖춘 낮은 신뢰 기반 거버넌스가 필요하다고 판단함

DHS·ICE 공급망에서 시작된 문제의식

• 2026년 1월 DHS 요원들이 최소 2명을 살해한 사건을 계기로, Turner는 Google과 이민 단속 기관의 관계를 조사함
• DHS의 2025 AI Use Case Inventory는 DHS의 운영 효율 향상에 쓰이는 생성형 AI 공급자 중 하나로 Google을 기재함
• Google은 ITC Federal 같은 제3자를 통해 ICE에 클라우드 서비스를 판매함
• Google의 다른 행위도 문제로 삼음
  • 2025년 10월 3일 ICE 활동을 경고하는 앱을 목록에서 제거함
  • 학생 시위자의 계정을 사전 통지 없이 ICE에 넘겨, 정부에 정보를 공개하기 전 이메일을 보내겠다는 서비스 약속을 어김
  • Google은 이민 단속 기관이 상용 클라우드 서비스를 이용했을 뿐이라고 답했지만, Turner가 문제 삼은 지점은 특별 서비스를 제공했는지가 아니라 ICE에 서비스를 제공했다는 사실이었음
• 이미 대규모 청원이 무시됐고 연좌농성·파업·대량 퇴사도 실현 가능성과 효과가 낮다고 판단함
• AI 업계에서는 대체하기 어려운 소수 인재가 조직에 큰 영향을 미치므로, 무작위 연구 엔지니어 100명보다 핵심 인력 10명이나 Jeff Dean 한 명의 이탈 가능성이 경영진에 더 큰 비용을 만들 수 있다고 봄

Jeff Dean과의 첫 접촉

• Jeff Dean은 Google의 30번째 직원이자 Chief Scientist이며 Gemini 프로젝트 공동 리더로, ICE를 공개 비판하고 2018년 자율살상무기 반대 서약에도 참여했음
• Turner는 2026년 2월 9일 Jeff에게 Google이 DHS 공급망에서 철수하도록 돕고 싶다고 직접 연락함
• Jeff는 Sundar Pichai, Demis Hassabis, Thomas Kurian에게 이메일을 보내는 것이 합리적이라고 답함
• Turner는 세 CEO에게 다음 내용을 전달했으나 답장을 받지 못함
  • 문제는 정당 정치가 아니라 ICE의 적법절차 침해, 시민 구금, 감독이 부족한 시설과 인권 침해임
  • 클라우드와 Gemini가 직접 계약이나 제3자 통합업체를 통해 해당 작전을 지원해서는 안 됨
  • DHS·ICE와의 협력은 인권 문제뿐 아니라 공급자의 평판 위험도 만듦
• 이후 Jeff에게 Google 내부에서 실질적인 변화를 만들 방법을 논의하자며 점심을 요청했고, 몇 주 뒤 약속이 잡힘

미 국방부의 Anthropic 압박

• 2026년 2월 25일 미 국방부는 Anthropic에 기존 계약의 제한을 없애고 Claude를 “모든 합법적 용도”로 제공하라고 요구함
  • 기존 제한은 치명적 자율무기와 AI 감시·프로파일링을 대상으로 했음
  • 거부하면 2억 달러 계약을 취소하고 공급망 위험 업체로 지정하며, Defense Production Act로 제공을 강제하겠다고 위협함
• “합법적 용도”라는 기준에는 두 가지 문제가 있다고 판단함
  • 미 국방부가 난파 생존자를 재차 공격한 사례처럼 독립 법률 전문가들이 전쟁범죄 가능성을 지적한 행위도 정부 스스로 합법이라고 판단할 수 있음
  • 대규모 감시와 AI 프로파일링도 기존 감시법이 AI를 전제로 작성되지 않아 합법 범주에 들어갈 수 있음
• 공급망 위험 지정은 일반적인 계약 거절과 달리 모든 군사 계약업체가 Anthropic 사용을 중단하게 만들어 기업의 경제적 존립을 위협할 수 있었음
• 이후 Lin 판사는 해당 지정이 “전형적인 불법 수정헌법 제1조 보복”이라고 판단함

IASEAI와 AI 석학들에게 요청한 공동 대응

• Turner는 Paris의 UNESCO 본부에서 열린 International Association for Safe and Ethical AI(IASEAI) 행사에 참석 중이었음
• IASEAI는 2024년 안전하고 윤리적인 AI를 위한 통합된 목소리를 목표로 설립됐으며, 2026년 작업반에는 자율무기와 확전을 다루는 Red Lines for Advanced AI가 포함됐음
• 행사장의 수백 명은 당일 발생한 Anthropic 사태보다 공공선택이론 같은 추상적 조정 문제를 논의하고 있었음
• 영향력 있는 연구자들에게 공개 대응을 요청함
  • Yoshua Bengio에게 Anthropic의 계약 자유와 규제되지 않은 자율살상무기 반대 성명을 요청했으나, 사무실에서 성명을 내지 않겠다고 답함
  • Geoffrey Hinton은 원격 참석 중이어서 Bengio나 Stuart Russell을 통한 접촉을 고려함
  • Stuart Russell에게 개인 및 IASEAI 명의의 성명과 내부 AI 전문가 동원을 요청함
• Stuart는 Bengio와 Hinton의 참여를 시도하고 IASEAI 회원 투표를 열어 행사 폐막 때 발표하겠다고 약속함

사라진 IASEAI 투표와 성명

• 폐막 행사에서 Stuart는 미 국방부의 행동을 “갈취 행위(extortion racket)”라고 부르고, Anthropic이 원하지 않는 용도로 제품을 제공하도록 강요받아서는 안 된다는 명제에 회원 투표를 추진하겠다고 말함
• 현장 거수 투표에서는 Anthropic의 계약 자유를 지지하는 IASEAI 성명에 거의 만장일치가 나옴
• 당시 계획은 목요일 밤까지 설문을 진행해 3분의 2가 찬성하면 Stuart가 IASEAI 명의로 서명하고, 미달하면 개인 성명을 내는 것이었음
• Turner는 투표 참여를 위해 75달러의 회원비를 냈지만 설문은 열리지 않았고, IASEAI는 아무 성명도 내지 않음
• IASEAI 측이 제시한 이유는 계속 달라짐
  • 성명 작성 시간이 더 필요함
  • 어떤 원칙을 근거로 삼아야 할지 불분명함
  • Anthropic–미 국방부 뉴스 흐름에 합류하는 데 장단점이 있음
  • 유사 상황을 처리할 내부 절차 개선에 집중하려 함
  • Anthropic이 자체 성명을 냈으므로 IASEAI 성명이 더는 필요하지 않음
• Anthropic의 금요일 시한 이후에도 소송은 수주간 이어졌고 Google 계약은 두 달 뒤 체결됐으므로, IASEAI가 성명·법정 의견서·Google 의사결정자 접촉에 나설 시간은 충분했다고 봄
• Turner는 Stuart가 공개 발언 대신 Google 경영진에게 비공개로 연락하거나 소개만 해줘도 도움이 된다고 여러 차례 요청했으나 답을 얻지 못함
• IASEAI는 요청에 따라 회원비를 환불했으며, 같은 장소에서 열린 AI 금지선 워크숍은 가장 큰 장애물로 정치적 의지를 꼽았음

OpenAI 계약과 Google 내부 여론 형성

• OpenAI는 미 국방부와 계약하면서 Anthropic과 같은 자율무기·대규모 감시 제한을 보호한다고 밝혔지만, 일부 분석은 계약 문구에 광범위한 허점이 있다고 판단함
• Turner는 Google DeepMind 내부 시사 토론 채널에서 Anthropic과 연대하고 “모든 합법적 용도”를 거부해야 한다고 촉구했으며, 한 메시지는 125개가 넘는 지지 반응을 받음
• 내부 게시 활동에는 여러 목적이 있었음
  • 침묵할 때 경영진이 치러야 할 조직 비용을 높임
  • 고위 관계자들이 읽는 채널을 통해 전략적 논거를 전달함
  • 계약에 불편함을 느끼는 직원들이 혼자가 아니라는 공동 인식을 만듦
  • OpenAI 계약의 허점을 공유해 유사한 보호 문구가 제시될 때 직원들이 받아들이지 않도록 함
  • 계약이 체결되면 퇴사할 수 있다는 의사를 직원들이 간접적으로 드러낼 통로를 만듦
• Google이 대규모 내부 채널에서 직접 조직하는 일을 꺼린다고 이해했기 때문에, 반응을 남긴 사람들에게 비공개로 연락함

250명 청원과 Anthropic 법정 의견서

• Jeff가 윤리적 이해와 실제 영향력을 모두 갖춘 소수 경영진이라고 보고, 그가 행동의 주체가 되어 직원들의 지지를 확인하도록 만드는 데 집중함
• 친구들과 함께 하루나 이틀 만에 Google DeepMind 및 Research 직원 약 250명의 서명을 모아 Jeff에게 전달함
  • 서명자들은 기본적인 금지선을 넘는 계약을 막기 위해 할 수 있는 모든 일을 해달라고 요청함
  • 초기 청원에서 미국 외 시민의 영장 없는 감시 문제를 제외한 것은 협상 전에 원하는 것을 스스로 양보한 잘못이었다고 평가함
• Anthropic이 미 국방부의 공급망 위험 지정에 대해 소송과 금지명령을 신청하자 Protect Democracy가 AI 전문가들의 법정 조력자 의견서를 준비함
• Turner는 의견서에 서명하고 동료와 Jeff에게 참여를 요청했으며, Jeff도 공개적으로 서명함
  • Google DeepMind 서명자 18명 중 8명을 Turner가 모집함
  • Jeff는 C급 경영진으로서 Google의 침묵과 공개적으로 다른 행동을 취한 유일한 경영진이었음
• Google 직원들의 서명은 미 국방부에 Google도 향후 계약에서 철수할 수 있다는 우려를 일으켜 협상이 지연되는 데 일부 영향을 줬다고 판단함
• Google 법무팀에도 정부가 Anthropic을 압박하도록 방치하면 향후 Google에도 같은 위협을 사용할 수 있다며 의견서 제출을 요청했으나 Google은 참여하지 않았고, Microsoft는 의견서를 제출함

경영진의 낙관과 계약 체결 가능성

• 2026년 3월 내내 고위 경영진은 지도부도 문제를 인식하고 있으므로 Google이 “모든 합법적 용도” 계약에 서명하지 않을 것이라고 말함
• Turner는 누군가 지도부에 실제 비용을 만들지 않으면 Google이 물러설 가능성이 높다고 판단함
• 인용 자료를 포함한 메모에서 다음 근거를 제시함
  • Google이 학생 시위자의 정보를 ICE에 자발적으로 넘기는 등 더 낮은 위험의 압력에도 순응한 전례가 있음
  • 정부 계약에서 차지하는 비중이 큼
  • Google DeepMind의 AI 원칙이 구체적 금지에서 모호한 문구로 약화됨
  • 반독점 문제와 현 법무부의 소송 기록이 Google에 추가 압력으로 작용함
• 해당 메모를 여러 차례 공유했지만 고위 직원들을 설득하지 못했다고 판단함

Jeff를 중심으로 준비한 협상 전략

• Jeff는 2018년 “자율살상무기의 개발·제조·거래·사용에 참여하거나 이를 지원하지 않겠다”는 서약에 참여했고, 2026년에도 입장이 바뀌지 않았다고 공개적으로 재확인함
• 대규모 감시가 수정헌법 제4조와 표현의 자유를 침해하고 정치적·차별적으로 악용될 수 있다며, 미국인을 대상으로 한 AI 대규모 감시를 원하지 않는다고 밝힘
• Turner는 Google이 무제한 계약을 체결하면 Jeff가 서약을 지키기 위해 퇴사해야 한다는 논리적 결과에 도달함
• Jeff가 Sundar Pichai에게 계약 체결 시 남을 수 없다고 말하도록 만드는 시나리오를 준비함
  • 250명 청원으로 직원들의 지지를 보여줌
  • Jeff가 선을 그으면 함께 행동할 의사가 있는 여러 고위 직원의 지원도 확보함
  • 여러 명의 연합은 보너스나 개별 설득으로 분열될 수 있어 실제 전략은 Jeff 한 명의 영향력에 의존함
• 모호하게 “나쁜 계약을 맺지 말라”고 요구하면 표면만 개선된 계약으로 끝날 수 있어 구체적인 대안을 준비함

25쪽짜리 군사 AI 프레임워크

• Turner는 휴가를 사용해 개인 시간에 25쪽 분량의 계약 문구와 감독 구조를 작성하고 군사·감시법 전문가의 검토를 받음
• 인간과 AI의 전투 통합 분야 법률 전문가는 프레임워크가 “실제로 꽤 좋다”고 평가하고 개선점을 제안함
• 정부처럼 강제력을 행사하는 기관에 AI를 제공할 때 두 가지 기준을 적용함
  • 무력 사용에 대한 인간 통제
    • AI가 각 교전에서 적절한 인간 통제 없이 표적을 선택하고 공격하는 시스템에 쓰이지 못하게 함
    • AI 구성 요소만 표적화 파이프라인에 제공하는 경우에도 적용함
    • 합법적 배치 방식을 확인할 법률적 투명성과 상호 합의한 중립 감사자의 검증을 요구함
    • 요격 방어, 두 번째 기준을 따르는 정보 분석, 군수, 연구개발은 제한하지 않음
  • 비표적 AI 프로파일링 금지
    • 대량 데이터를 이미 특정된 조사 대상이 아닌 개인에 관한 정보로 변환하지 못하게 함
    • 인구통계적 특성이나 정치적 표현만으로 개인 분석을 시작할 수 없음
    • AI 출력만으로 개인에 대한 심층 조사를 시작할 수 없음
    • 표적이 특정된 분석, 집계 연구, 비전투원 보호를 개선하는 분쟁 지역 분석은 허용함
• 7명으로 구성된 Defense AI Review Body를 Chief Scientist가 임명하고 감독하도록 설계함
  • 클라우드에 7석 중 2석을 배정함
  • 직원은 자신이 관여한 계약에서만 회피함
  • 검토 지연을 최대 10일로 제한함
  • 논의는 변호사·의뢰인 비밀특권으로 보호함
• Review Body의 권한은 자문에 그치지만, 권고를 무시한 사례는 모든 AI 직원에게 제공되는 연례 투명성 보고서에 포함함
• 조직을 해산하려면 사전 고지와 해결되지 않은 미준수 사항의 정확한 공개가 필요해, 2018년 원칙처럼 조용히 무력화하기 어렵게 함
• Congress가 해당 사용을 실질적으로 규제하는 법을 통과시키면 Chief Scientist와 Review Body의 압도적 다수결로 기준을 폐기할 수 있음
• “모든 합법적 용도”가 요구되면 예정된 사용의 적법성을 입증하는 법률 메모를 제공받고, 회사 기준을 충족하지 않는 사용은 거절하도록 설계함
• 계약 상대가 반대할 가능성을 고려해 Alphabet 이사회로의 상향 보고처럼 협상에서 양보할 수 있는 덜 중요한 조항도 포함함

Jeff와의 점심과 Demis에게 보낸 제안

• 2026년 3월 17일 Mountain View에서 Jeff와 만나 Review Body를 이끌어 달라고 제안했으나 Jeff는 받아들이지 않음
• 비공개 대화는 허락 없이 인용하지 않았으며, 확인 가능한 공개 행동은 Jeff가 Anthropic 지지 의견서에 서명했지만 Google 계약 체결 후에도 회사에 남았다는 점임
• Jeff가 프레임워크를 주도하지 않으면서 성공 가능성이 크게 낮아졌고, 다음 경로로 Demis Hassabis를 선택함
• DeepMind는 2014년 Google에 인수될 때 AI를 군사·무기 목적으로 사용하지 않겠다는 약속을 받았고, 2018년에는 공동 창업자들과 조직 자체가 자율살상무기 반대 서약에 참여했음
• 관리 체계를 통해 제안을 전달하려고 일주일간 시도한 뒤, 2026년 4월 1일 Demis에게 직접 메시지를 보냄
• Demis는 Google DeepMind 정책을 담당하는 고위 인사 2명에게 프레임워크 평가를 지시함
  • 두 사람은 처음에는 답하지 않았고, 이후 하위 담당자에게 보냄
  • 하위 담당자들은 프레임워크에 긍정적이었지만 답변까지 수개월이 걸릴 수 있다고 말함
  • 미 국방부의 1월 9일 메모는 모든 AI 계약업체에 7월 8일까지 “모든 합법적 용도” 계약을 수락하도록 180일의 시한을 줬기 때문에 수개월의 검토는 상황과 맞지 않았음
  • Turner는 질의응답을 위해 San Francisco에서 London까지 가겠다고 제안했지만 고위 정책 담당자들은 다시 답하지 않음
• CEO가 검토를 지시했는데도 평가 결과가 전달되지 않은 절차에 불만을 가졌으며, 알려지지 않은 정당한 사정이 있었을 가능성은 열어둠

Google이 조용히 체결한 미 국방부 계약

• 2026년 4월 27일 보도를 통해 Google의 기밀 AI 계약 체결 사실이 알려짐
• Turner는 다른 직원 600여 명과 함께 Sundar에게 기밀 AI 계약을 거절하라는 서한에도 서명함
• 계약의 핵심 문구는 다음과 같았음
  • 미 국방부는 Google AI를 “모든 합법적 정부 목적”에 사용할 수 있음
  • 정부 요청에 따라 Google이 AI 안전 설정과 필터 조정을 지원해야 함
  • 국내 대규모 감시나 적절한 인간 감독 없는 자율무기에 쓰여서는 안 된다는 문구가 포함됨
  • 동시에 Google에는 합법적인 정부 운용을 통제하거나 거부할 권리가 없다고 명시함
• “should not”은 구속력 있는 금지가 아니어서 윤리적 우려에 형식적으로만 대응했다고 판단함
• Google은 계약 체결 사실을 내부에 알리지 않았고, Turner는 밤 11시 45분 Signal 그룹에서 이를 알게 됨
• Google이 1억 달러 규모의 음성 제어 자율 드론 군집 공모에서는 내부 윤리 검토 후 철수한 사례도 있었음
  • 일부 사업에서는 실제로 작동하는 윤리 검토가 존재한다는 점은 긍정적으로 평가함
  • 그러나 “모든 합법적 용도” 계약에서는 Gemini가 실제로 어떤 용도에 쓰일지 Google이 알 수 없어, 이익이 피해를 크게 능가하는지 평가하기 어려움
  • Anthropic CEO조차 Claude가 이란 여학교 폭격에서 어떤 역할을 했는지 알지 못한다고 말한 사례를 들어 배치 후 투명성 부족을 강조함

바뀌지 않았다고 한 AI 원칙의 변화

• Demis는 세계가 더 위험해졌고 민주적 가치의 승리를 당연시할 수 없으므로 정부와 협력해야 한다고 말함
• Google의 근본 원칙은 이익이 피해 위험을 크게 능가하는지 신중히 판단하는 것이며, 국제법과 인권을 존중한다는 점도 바뀌지 않았다고 밝힘
• Turner는 “상황을 본 뒤 판단한다”는 기준은 압력 속에서도 지킬 사전 약속이 아니므로 원칙이라 보기 어렵다고 판단함
• 2018년 Google AI 원칙은 사람에게 피해를 주는 것이 주목적인 무기와 국제적으로 인정된 규범을 위반하는 감시를 개발·배치하지 않겠다고 명시함
  • 이 원칙 때문에 Google은 2018년 100억 달러 규모 JEDI 계약 입찰에서 철수함
• Demis가 공동 작성한 2025년 2월 4일 개정안은 무기와 감시에 관한 구체적 금지를 제거함
• 금지 조항을 제거하면서 “원칙은 바뀌지 않았다”고 말하는 두 입장은 동시에 참일 수 없으며, 마지막 근무일에 이 불일치를 내부 채널에 공유하자 많은 직원이 실망을 표시함

정부 협력과 무제한 양보는 다른 선택

• 서방 민주주의가 권위주의에 맞서기 위해 자율무기를 채택해야 한다는 전제를 받아들이더라도, 미 국방부의 모든 요구를 수용하는 것이 유일한 선택은 아니라고 판단함
• 군사 AI 거버넌스 프레임워크를 적용하면 중국과의 경쟁에 필요한 사용은 허용하면서 비윤리적 사용은 제한할 수 있음
• 계약이 강제됐더라도 Google은 Congress에 법적 보호 장치를 요구하는 데 영향력을 사용할 수 있었으므로, 무제한 계약 수용은 선택이었다고 봄

개인적 신뢰와 제도적 거버넌스

• Demis는 독립 이사회나 안전 헌장 같은 구조가 결정적 순간에 올바르게 작동하지 않을 수 있고, 미리 명확한 선을 긋기보다 Google 내부에서 신뢰를 쌓고 의사결정 테이블에 앉는 방식을 선호함
• 이 철학은 DeepMind를 반독립 조직으로 분리하려던 협상에서 Sundar가 거부한 뒤 형성됐음
• Turner는 시스템이 요구하는 신뢰의 양을 줄여야 한다고 반박함
  • 개인 역시 결정적 압력에 노출되며 지분, 동료와의 사회적 관계, 회사와 결합된 자아상 같은 더 나쁜 유인을 가질 수 있음
  • 프레임워크는 Chief Scientist가 Review Body를 구성할 때까지 합리적으로 행동한다는 단일 신뢰 가정만 두고, 이후에는 계약과 투명성으로 정당화된 신뢰를 만듦
  • 부당한 계약을 완전히 막지는 못해도 이를 통과시키는 데 마찰과 공개 비용을 추가함
• Demis는 모든 관련 계약의 의사결정 테이블에 있었지만, 최종 계약에는 직원들의 윤리적 우려를 반영한 구속력 있는 조항이 하나도 없었음
• 더 나쁜 결과를 막았을 가능성은 인정하지만, 실제 계약 조건은 예상 가능한 최저선에 가까웠고 OpenAI의 조건보다도 약했음
• Google DeepMind 연구 과학자 Andreas Kirsch도 “Trust is not Governance”에서 독립적으로 같은 결론에 도달함

Google DeepMind 거버넌스 실험의 실패

• Google DeepMind는 무기 사용 금지 약속과 반독립 거버넌스 구조를 전제로 Google에 매각됐지만, Sundar는 독립 구조를 거부함
• 직원 압력으로 만들어진 2018년 AI 원칙도 이후 지도부가 구체적 무기·감시 금지를 제거하면서 약화됨
• Google DeepMind에서는 수익과 정치적 압력이 윤리적 약속을 이겼지만, Anthropic은 같은 압력 아래 기존 금지선을 유지함
• 누구도 원칙을 지키지 않는다는 것이 아니라, 사회가 윤리적 개인이 끝까지 버틸 것이라고 의존할 수 없다는 결론에 도달함
• Congress가 효과적으로 대응하지 못하더라도, 경영진이 “의사결정 테이블에 앉아 있다”는 사실만으로 안전이 보장된다는 생각은 중단해야 한다고 봄

서약자에게 남은 선택

• Jeff Dean, Demis Hassabis, Shane Legg 등은 자율살상무기의 개발·제조·거래·사용을 지원하지 않겠다고 서약했지만, Google이 용도를 제한할 권리 없이 AI를 군에 제공한 뒤에도 회사에 남음
• 계약이 자율무기를 명시적으로 허용한 것이 아니라 금지하지 않았을 뿐이라는 해석에 대해, 사용처를 알지 못하도록 눈을 가린다고 책임이 사라지지는 않는다고 반박함
• 최고의 AI를 만들고 자율살상무기 사용을 원하는 군에 제공하며 용도 제한 권리까지 포기한 회사에 계속 남아 AI를 개발하는 행위는 서약과 충돌한다고 판단함
• 서약자에게는 세 가지 정직한 선택이 있다고 봄
  • 남는 것이 서약과 어떻게 양립하는지 공개적으로 설명함
  • 더는 그 서약을 지지하지 않는다고 밝히고 이유를 설명함
  • 회사를 떠남
• 명확한 금지선에서도 구속력 있는 조항을 하나 얻지 못했다면 “내부에서 긍정적으로 조종하기 위해 남는다”는 근거가 약함
• 가장 분명한 약속을 어기고도 아무 행동을 하지 않으면 다음 안전 약속의 신뢰도도 낮아지고, 결국 약속 자체가 가치 없어짐

AI 윤리 지도자들의 침묵

• 책임은 미 국방부를 압박한 Pete Hegseth와 Donald Trump, 계약을 체결한 Sundar Pichai, 영향력을 더 사용하지 않은 Jeff Dean 사이에 동일하지 않게 나뉨
• Turner는 특히 윤리적 약속을 공개적으로 내세운 고위 AI 전문가들의 지속적인 무대응에 실망함
• Geoffrey Hinton은 Google의 군사 AI 약속 철회에 매우 실망했으며, 현 행정부가 Google을 불리하게 대할 것을 우려했기 때문일 수 있다고 추측함
• Stuart Russell과 Hinton은 일반적으로 소극적인 인물들이 아니었음
  • Stuart는 오랜 기간 AI 실존 위험과 자율살상무기를 공개적으로 경고함
  • Hinton은 1980년대 군사 AI 자금 지원에 반대해 미국을 떠났고, 2023년 Google을 떠나 AI 위험을 자유롭게 발언함
• 2025년 9월 Global Call for AI Red Lines에는 Nobel·Turing 수상자 15명을 포함한 300명 이상이 서명했으며 Stuart, Bengio, Hinton, Mark Nitzberg도 대규모 감시와 자율살상무기 금지를 지지함
• 추상적 원칙에는 서명했지만 2026년 2월 실제 기업·정부 충돌이 발생하자 IASEAI는 아무 성명도 내지 않음
• 정치적 자본을 더 중요한 순간을 위해 아꼈다는 해석은 공개 성명을 피한 이유가 될 수 있지만, Google 의사결정자와의 비공개 연결처럼 비용이 낮은 도움까지 거절한 이유는 되지 못함
• Jeff는 유일하게 공개 행동을 한 Google 경영진으로서 존중받을 부분이 있지만, 더 큰 영향력을 행사해 계약을 막을 수 있었다고 판단함

직책의 경계를 넘은 내부 행동과 퇴사

• 일반적인 “책임 있는 연구 과학자”라면 우려를 트윗하고 관리자에게 메시지를 보내는 데 그쳤겠지만, Turner는 효과가 있을 계획만이 행동으로서 가치 있다고 판단함
• Alex Pretti의 사진을 휴대전화 알림으로 설정했고, ICE가 사람을 사살하고 집에서 끌어내는 사건을 떠올리며 두려움을 견딤
• 다른 최고 AI 연구소로 이직해 큰 보너스를 받는 일반적인 경로를 선택하지 않음
  • OpenAI 안전팀의 접촉도 거절함
  • 퇴사 시점에는 다른 직장이 없는 상태였음
• 2월부터 Google이 계약을 체결할 가능성이 높다고 봤지만, 실제 계약이 없었다면 몇 달은 더 남았을 수 있음
• 계약이 체결되자 더는 업무를 할 수 없다고 느꼈고, 사무실이 과거의 학교처럼 더 이상 자신이 속한 곳이 아니라고 판단해 퇴사함

예상되는 반론과 답변

• 특정 제안을 따르지 않았다는 이유만으로 개인을 비난할 수는 없지만, 고위 윤리 지도자들이 어떤 형태로든 행동했다면 결과에서 가시적인 영향이 나타났어야 한다고 봄
• Jeff가 실제로 퇴사를 걸고 강하게 반대했다면 최종 계약에 최소 하나 이상의 구속력 있는 조항이 들어갔을 것이라고 예상함
• 모든 사람이 모든 문제에 발언할 의무는 없지만, 회원 투표를 약속하고 취소하거나 자율살상무기 반대를 정체성의 중요한 부분으로 삼은 뒤 결정적 순간에 침묵한 경우는 다름
• 프레임워크를 제시했어도 미 국방부가 거절했을 가능성에는 동의함
  • xAI 같은 다른 공급자는 AI를 제공했을 것임
  • 그러나 Google이 Anthropic·OpenAI와 연합하거나 미 국방부의 요구를 거절했다면 기술 업계의 순응을 독립적인 대응으로 바꿀 수 있었음
  • 미 국방부가 거절하면 Google도 계약에서 철수할 수 있었기 때문에 Jeff의 영향력은 여전히 중요했음
• 미 국방부는 Amazon Web Services, Google, Microsoft, NVIDIA, OpenAI, Reflection, Oracle, SpaceX와의 계약을 Anthropic과의 충돌에 대한 “대응 성명”으로 규정하며, 대형 기술 기업들이 군과 모든 합법적 용도를 지지한다고 강조함

AI 실존 위험과 군사 배치

• Google DeepMind의 신뢰할 만한 고급 AI 안전 논증은 Frontier Safety Framework가 다루는 사고 과정(chain of thought) 감시에 크게 의존할 가능성이 있다고 봄
• 잘못 정렬된 AI는 종료를 피하기 위해 해로운 의도를 직접 밝히지 않고 기만할 수 있으며, 사고 과정을 조사하는 것은 이를 탐지하는 주요 방법 중 하나임
• 감시를 위해서는 데이터에 접근하고 분석할 훈련된 인간 감독자가 필요하지만, 기밀 군사 데이터센터는 상용 Google 인프라와 격리돼 있음
• Google 직원이 군의 작전을 읽어야 한다는 뜻이 아니라, 기본적으로 해당 감시를 수행할 적절히 훈련된 군 엔지니어가 없을 가능성을 문제 삼음
• 사고 과정의 기만을 감시하지 않으면 AI가 책략·기만·장악을 통해 인류에 재앙적 피해를 줄 가능성을 통제하기 더 어려움
• 군사 배치 환경은 감독이 약한 동시에 강력한 의사결정자와 인프라에 접근할 수 있어 악성 AI가 노릴 만한 환경이 될 수 있음
• 군과 US CAISI가 악성 AI를 감시·봉쇄할 전문성, 주의와 통제 절차를 개발하기를 기대함

“API 접근만 제공한다”는 해명의 한계

• 경영진은 상용 모델에 업계 표준 조건으로 API 접근을 제공하는 것이 국가안보를 지원하는 책임 있는 방식이라고 말함
• 일반적인 API 접근은 요청이 공급자의 서버로 전송돼 공급자가 사용을 감시할 수 있다는 인상을 줌
• 기밀 작전에서는 평문 질의를 Google 서버로 보낼 수 없으므로, Turner는 격리된 정부 클라우드 클러스터에 Gemini API 엔드포인트를 제공하는 온프레미스 방식일 것으로 추정함
• 이 경우 “API 접근만”이라는 말은 기술적으로 맞을 수 있지만 Google의 중앙 감시가 가능하다는 잘못된 인상을 주며, 자율무기·전쟁범죄·대규모 프로파일링 문제를 해결하지 못함
• Anthropic을 제외하면 이러한 조건이 업계 표준이 되는 데 Google도 기여했다고 판단함