AI가 스스로 더 나은 AI를 만드는 날은 얼마나 가까웠나?

재귀적 자기개선(RSI) 은 AI가 더 나은 AI를 만들고, 그 AI가 다시 다음 개선을 이끄는 순환으로, 실험 실행뿐 아니라 연구 방향과 다음 목표까지 스스로 정해야 함 현재의 모델과 강화학습을 확대하면 인간 연구자를 넘어설 수 있다는 기대와, 주어진 목표를 잘 푸는 능력이 새로운 연구 방향을 발견하는 능력은 아니라는 반론이 맞섬 어려운 벤치마크를 풀어도 사람의 피드백을 반영하며 긴 프로젝트를 수행하는 능력까지 보장되지는 않아, 훈련 환경의 난도뿐 아니라 현실성이 중요함 실제 사용 경험을 다음 모델에 반영하는 순환은 이미 있지만, 같은 모델이 계속 배우려면 새 경험을 익히면서 기존 지식과 능력을 잃지 않는 문제를 풀어야 함 AI 연구 생산성이 10배 높아질 시점을 존 슐먼은 약 2년, 찰리 오닐은 5~10년으로 예상하며, 실험 자동화를 넘어 연구 판단까지 맡길 수 있는지가 차이를 만듦 Thinking Machines 수석과학자 존 슐먼, Zyphra CTO 베런 밀리지, Baseten 모델 훈련 책임자 찰리 오닐이 참여한 대화 2036년에도 초지능이 세계를 바꾸지 못한다면 논의의 출발점은 전쟁이나 AI 금지 같은 외부 충격을 제외하고, 2036년에도 수십억 개의 초지능이 세계를 급격히 바꾸지 못할 기술적 이유가 무엇인지임 Beren Millidge는 벤치마크와 훈련 환경에서는 뛰어나지만 현실 전이, 메타학습의 일반화, 지속학습이 막힐 수 있다고 봄 다만 이미 RL에서도 일반화가 관찰되므로 이 시나리오의 가능성은 낮게 평가함 John Schulman은 판단력과 자기 검증의 약점이 연구와 엔지니어링의 병목으로 남을 수 있다고 봄 새 모델이 처음에는 AGI처럼 느껴지다가 한 달쯤 쓰면 부족함이 드러나는 주기가 예상보다 오래 반복될 수 있음 사람보다 훨씬 많은 코드를 작성한다고 생산성이 100배가 되는 것은 아님 Charlie O’Neill은 현재의 Transformer와 RL 조합이 칩 위에서 구현 가능한 최적의 학습기와 얼마나 떨어져 있는지가 중요하다고 봄 인간보다 AI 연구를 0.1%만 잘하는 에이전트라도 수십만~수백만 개를 병렬 실행하고 더 빠르게 작동시키면 다른 병목을 압도할 수 있다는 급속 도약 논리가 있음 반대로 현재 패러다임의 수익이 체감하고, 그 방식으로 훈련된 모델이 다음 혁신을 찾지 못할 수도 있음 무어의 법칙(Moore’s Law) 의 장기 추세도 여러 불연속적 혁신으로 유지됐듯, 사전학습 이후...