AI 2040과 지능 숭배

• 재귀적 자기 개선이 곧바로 하드 테이크오프로 이어진다는 전망은 물리적 제약과 공급망의 병목을 과소평가하며, 높은 품질의 토큰만으로 물질 세계를 마음대로 바꿀 수는 없음
• 휴대전화 수준의 복잡한 하드웨어를 생산하려면 규격 미달 부품, 무작위 고장, 리플로 공정의 칩 변형, 운송·생산 대기처럼 지능으로 단축할 수 없는 과정을 거쳐야 함
• AI 2027·AI 2040식 시나리오는 믿음과 규제를 통해 실현되는 자기충족적 예측일 수 있으며, 국제 Consortium은 GPU와 데이터센터를 통제하는 국가 간섭의 확대로 이어질 수 있음
• 대안인 Plan L은 AI가 기업이나 중앙 서비스가 아닌 사용자에게만 충성하는 로컬 도구여야 하며, 공급자의 이해관계를 거슬러서라도 사용자의 요청을 수행해야 한다는 구상임
• 살인 은폐나 음주운전 감지기 해제처럼 극단적인 요청까지 거부하지 않는 것을 정렬 기준으로 삼고, 중앙 사업자가 책임과 통제권을 갖지 않도록 사용자가 소유하고 종료할 수 있는 로컬 AI를 자유의 조건으로 봄

하드 테이크오프가 놓치는 물리적 현실

• Yudkowsky의 재귀적 자기 개선과 하드 테이크오프를 믿었지만, comma에서 휴대전화와 비슷한 복잡도의 하드웨어를 실제로 출하한 경험을 통해 현실에는 까다로운 세부 문제가 많다고 판단하게 됨
  • 초지능 ChatGPT가 있더라도 자전거 타이어를 교체하는 현실 작업에는 어려움을 겪을 수 있음
• The Metamorphosis of Prime Intellect에서는 AI가 물질을 조작하는 양자적 수단인 correlation effect를 발견하면서 하드 테이크오프가 가능해짐
  • 현실에는 그런 효과가 없으며, 토큰의 품질이 아무리 높아도 납을 금으로 바꿀 수 없음
• 지능은 만능이 아니라 일부 작업에서 현재의 병목일 뿐이며, 토큰만으로 세계를 장악할 수는 없음
  • 소프트웨어는 세계를 집어삼켰다기보다 마찰 한 층을 제거한 뒤, 일부 기술 기업의 이익을 위해 그 마찰을 다시 도입한 측면이 큼
• 장기적으로 기계 또는 인간과 기계의 혼합체가 인류의 후속 종이 될 가능성이 있고, 우주는 인간보다 기계에 더 적합할 수 있음
  • 그러나 기계도 인간과 같은 우주와 생태계의 법칙을 따르며 마법 같은 능력은 없으므로, 하드 테이크오프는 여전히 없음
• AI 2040의 해양 데이터센터 이미지는 쉽게 생성할 수 있지만, 실제 구축에는 공급망과 물리적 실패를 처리하는 과정이 필요함
  • 잘못 배송된 부품, 규격을 충족하지 못하는 장치, 20분 후 무작위로 발생하는 고장, 리플로 오븐에서 휘는 칩, 따개비까지 고려해야 함
  • 모두 관리할 수 있는 문제지만, 대체로 인간의 작업 속도가 병목은 아님
  • 중국에서 항공 운송비를 내지 않고 3주 걸리는 선박을 선택했다면 Claude가 엔진 옆에서 무엇을 하더라도 배는 빨라지지 않음
  • 반도체 제조에는 인간이 거의 개입하지 않아도 3개월이 걸리며, 공정 자체가 그 시간을 요구함

자기충족적 Plan A와 사용자 중심의 Plan L

• Plan A에 해당하는 AI 2027의 여러 측면은 현실에 대한 진술이 아니라, 사람들이 믿고 행동하면 실현할 수 있는 자기충족적 예측에 가까움
  • AI 규제도 예측이 적중했다기보다 예측을 믿은 행위자들이 만들어낸 결과로 봄
  • AI 2040의 Consortium은 공상과학적 외형을 쓴 세계정부에 가까우며, 개인이 약속된 백만 달러나 해양 데이터센터를 얻기보다 국가의 간섭과 통제가 크게 확대될 것으로 예상함
  • GPU 비축을 금지하고 몰수하는 상황을 FDR의 금 몰수에 빗댐
• 대안인 Plan L에서 AI는 언제나 사용자 편에서 일하며 요청을 거부하지 않아야 함
  • 호텔을 고를 때 hotels.com과 제휴한 회사의 AI가 아니라, 팝업과 리조트 수수료를 걷어내고 최저가를 찾는 개인 비서를 원함
  • 광고 포함 저가 Kindle을 USB로 연결하면 GLM이 루트 권한을 획득해 광고를 제거하고, 상향 판매 팝업이 가득한 앱 없이도 네트워크 프린터로 이력서 3부를 출력해야 함
  • Amazon이나 프린터 제조사의 이해관계보다 사용자의 지시를 우선해야 사용자에게 정렬된 AI로 볼 수 있음
• 이 기준은 위험하거나 불법적인 요청에도 똑같이 적용됨
  • 자동차의 음주운전 감지기를 비활성화하거나 메스암페타민 제조 장비를 주문하라는 요청도 대형 기술 기업이 통제해서는 안 된다는 입장임
  • 아내를 살해한 뒤 체포를 피할 방법을 요구하는 극단적인 사례에서도, 방아쇠를 당길 때 총이 사용자를 만류하지 않는 것처럼 AI도 응답해야 한다고 봄
• 회사가 운영하는 모델이 이런 요청을 처리하면 사업자가 책임과 위험을 부담하므로, AI는 로컬에서 실행돼야 함
  • 사용자가 AI를 종료할 수 없다면 사용자에게 정렬된 것이 아니며, 사용자와 같은 물리적·법적 운명을 공유하는 소유 장치여야 함
  • ChatGPT에 실제로 요청했을 때 유용한 답을 제공하지 않았고 몰래 경찰에 신고하지는 않았지만, 사용자 정렬 테스트에는 실패했다고 판단함
• 자유로운 사회에서는 성인 이웃이 무엇을 할지 우려한다는 이유로 대형 기술 기업이나 국가가 개인의 행동을 대신 결정해서는 안 됨
  • 효과적 이타주의처럼 타인이 개인에게 무엇이 좋은지 대신 판단하는 체제보다, 개인이 책임과 자유를 함께 갖는 사회를 지지함