Ilya Sutskever: 우리는 확장의 시대에서 연구의 시대로 이동하고 있다

• AI 모델의 일반화 한계와 강화학습(RL) 중심 훈련의 편향을 지적하며, 현재 시스템이 인간처럼 유연하게 사고하지 못하는 구조를 설명
• 전이학습(pre-training) 은 방대한 데이터로부터 자연스러운 지식을 얻지만, 실제 환경에서의 적응력은 부족하다고 평가
• 확장의 시대(2012~2025)가 끝나고, 이제는 새로운 학습 원리와 연구 중심의 혁신이 필요한 시점으로 진단
• SSI는 지속적 학습(continual learning) 과 현실 배포를 통한 학습을 결합해 인간 수준의 학습 능력을 갖춘 모델을 목표로 함
• 인공지능이 ‘감정과 가치 함수’ , ‘일반화 능력’ , ‘윤리적 정렬(alignment)’ 을 통합해야 한다는 관점에서, 향후 AI 연구의 방향성을 제시

모델의 불안정성과 일반화 문제

• 현재 AI 모델은 평가(evals) 에서는 뛰어나지만 실제 환경에서는 반복적 오류를 보이는 ‘들쭉날쭉함(jaggedness)’ 이 존재
  • 예시로, 코드 수정 요청 시 한 버그를 고치면 다른 버그를 다시 만드는 현상 언급
• RL 훈련이 특정 평가 지표에 과도하게 맞춰져 일반화 능력 저하를 초래한다고 분석
• 인간의 학습과 비교해, 모델은 ‘경쟁 프로그래밍 학생’ 처럼 특정 문제에 과적합되어 실제 응용력은 떨어지는 구조로 비유

감정과 가치 함수(Value Function)

• 인간의 감정 시스템이 의사결정의 핵심 역할을 하며, 이는 가치 함수의 생물학적 대응물로 해석
• 감정이 결여된 인간 사례를 통해, 감정이 효율적 판단과 학습의 필수 요소임을 강조
• 현재의 강화학습은 최종 보상에만 의존하지만, 가치 함수는 중간 단계에서의 피드백을 가능하게 해 학습 효율을 높임
• 향후 AI는 감정적 조절이 가능한 가치 함수 구조를 도입해야 함을 시사

확장의 시대에서 연구의 시대로

• 2012~2020년은 연구 중심의 발전기, 2020~2025년은 확장 중심의 발전기로 구분
• 데이터·파라미터·컴퓨트의 단순 확장은 한계에 도달했으며, 이제는 새로운 학습 레시피 탐색이 필요
• RL이 새로운 확장 축으로 부상했지만, 효율적 자원 활용과 새로운 학습 원리가 다음 단계의 핵심 과제
• “이제는 다시 연구의 시대”라는 선언을 통해, 단순 스케일링을 넘어선 근본적 혁신의 필요성 강조

인간의 일반화 능력과 학습 효율

• 인간은 적은 데이터로 빠르게 학습하며, 이는 진화적 사전지식(prior) 과 효율적 가치 함수 덕분이라고 설명
• 언어·수학·코딩처럼 진화와 무관한 영역에서도 인간이 뛰어난 학습력을 보이는 점은 근본적 학습 원리의 존재를 시사
• 인간은 자기 피드백(self-correction) 을 통해 학습하며, 이는 내재된 가치 함수의 견고함 덕분
• Sutskever는 인간 수준의 학습 원리를 구현할 방법이 존재한다고 언급했으나, 세부 내용은 비공개

SSI의 전략과 슈퍼인텔리전스 접근

• SSI는 $3B 규모의 자금으로 연구 중심 운영 중이며, 제품보다는 근본 연구에 집중
• ‘직행(superintelligence straight shot)’ 전략을 유지하되, 점진적 공개와 배포 학습을 병행할 계획
• 목표는 ‘모든 일을 배울 수 있는 AI’ , 즉 완성된 지식체가 아닌 지속적 학습자(super learner)
• 이러한 모델이 경제 전반에 배치될 경우 급격한 경제 성장 가능성을 언급

정렬(Alignment)과 안전성

• AI의 핵심 문제는 ‘힘(power)’ 이며, 강력한 시스템일수록 점진적 배포와 실시간 피드백이 중요
• 향후 AI 기업 간 협력적 안전 연구와 정부의 개입 강화가 불가피하다고 전망
• SSI는 ‘감각 있는 생명(sentient life)’을 배려하는 AI를 목표로 하며, 이는 인간 중심 정렬보다 실현 가능성이 높다고 주장
• 초지능의 힘을 제한하거나 상호 협약을 통한 제어가 필요하다고 제안

인간-AI 공진화와 장기 균형

• 장기적으로는 인간이 AI와 결합(Neuralink++) 해야 이해와 통제가 가능하다는 시나리오 제시
• 인간의 사회적 욕망과 감정이 진화적으로 어떻게 고차원적으로 코딩되었는지에 대한 신경과학적 미스터리를 언급
• 이러한 고차원적 욕망 구조가 AI 정렬 연구의 단서가 될 수 있다고 시사

SSI의 정체성과 기술적 차별점

• SSI는 ‘연구 중심 기업’ 으로, 일반화 원리 탐구를 핵심 목표로 설정
• 다른 기업과 달리 새로운 기술적 접근법을 추구하며, 향후 정렬 전략의 수렴(convergence) 을 예상
• 5~20년 내 인간 수준 학습자 등장을 전망하며, 이후 시장 경쟁을 통한 전문화와 분화가 일어날 것으로 예측

자기경쟁(Self-play)과 다중 에이전트

• Self-play는 데이터 없이 컴퓨트만으로 학습할 수 있는 흥미로운 방법으로 평가
• 다만 협상·전략 등 사회적 기술에 한정된 학습 방식이라는 한계 존재
• 최근에는 Prover–Verifier 구조나 LLM-as-a-Judge 형태로 발전하며, 에이전트 간 경쟁을 통한 다양성 확보 가능성 제시

연구 취향(Research Taste)

• 훌륭한 연구는 ‘아름다움, 단순함, 두뇌에서의 올바른 영감’ 을 동시에 갖춰야 함
• 인간의 뇌에서 영감을 얻되, 본질적 구조를 정확히 모방하는 것이 중요
• 상향식 실험 결과보다 상위 개념의 확신(top-down belief) 이 연구를 지속하게 하는 원동력이라고 설명

요약적으로, Ilya Sutskever는 “확장 중심의 시대가 끝나고, 이제는 일반화·지속학습·정렬을 중심으로 한 연구의 시대가 시작됐다”고 선언하며, SSI가 그 전환의 중심에 서 있음을 강조함.