Andrej Karpathy – AGI는 아직 10년 남았음

• Andrej Karpathy는 AGI 개발에는 최소 10년이 더 걸릴 것으로 전망함
• 현존하는 AI 에이전트들은 인상적이지만, 지속 학습이나 인간 수준의 다양하고 깊이 있는 사고에 미치지 못함
• RL(강화학습)은 상당히 비효율적이지만, 대안적 방법도 충분히 발전하지 못한 상황임
• LLM의 모델 콜랩스 및 망각 문제 때문에, 인간의 뇌처럼 자연스럽게 지식을 지속해서 흡수하거나 발전하는 데 한계가 있음
• 미래의 AI 및 교육은 점진적 진전과 함께, 기존 경제 성장 패턴(GDP 2% 성장) 속에 자연스럽게 스며들 것으로 내다봄

AGI의 도래 시점과 AI 발전 속도

• Andrej Karpathy는 “AI 에이전트의 시대는 올해가 아닌 10년 규모의 과정” 이라고 강조함.
• 현재 Claude, Codex 등 여러 AI 에이전트가 유용하게 사용되고 있지만, 지속 학습, 멀티모달 처리, 복잡한 컴퓨터 활용 등에서 여전히 부족함을 가짐
• AGI가 실질적으로 인간 직원 또는 인턴처럼 작동하려면, 지능 향상, 지속적 기억력, 다중 능력 확보 등의 난제가 해결되어야 한다고 진단함
• AI 업계의 발전 예측에 대해, Karpathy는 약 15년 이상 현장에서 경험한 결과 난제는 극복 가능하나 상당히 어렵기 때문에 10년 쯤 필요하리라 추정함

AI 기술 발전의 역사 및 시사점

• 과거 딥러닝 붐(Building AlexNet)이 가장 첫 번째 혁신적 변곡점이었고, Atari 게임 강화학습(RL)이 두 번째 시도였으나 실제 AGI와는 거리가 멀었던 시도로 회상함
• 실세계의 대다수 업무(회계사 등)는 게임을 잘하는 AI로 대체될 수 없으므로, 실제 환경 상호작용 및 지식 업무 중심 에이전트가 더 적합하다고 봄
• Universe 프로젝트 등 조기 시도는 컴퓨터 자원 소모에 비해 효과가 떨어졌으며, 먼저 강력한 LLM 기반의 표현력 확보가 선행될 때 진정한 AI 에이전트가 가능하다고 설명함
• 전체적으로, AI 분야는 퍼셉트론/뉴럴넷 → 에이전트(RL) → LLM/표현학습 강화 흐름으로 진화함

인간 학습과 동물 진화의 차이

• 동물(예: 얼룩말)은 진화에 의해 복합적 행동이 유전적으로 내재됨; AI 연구는 실제 진화 과정을 모방하지 않고 인터넷 자료를 통한 모방 학습(pre-training)을 주로 사용함
• 현재의 LLM은 진화로 발현되는 유기체와는 구조적으로 다름. 생명체는 하드웨어(신경망)가 타고나고, AI는 소프트웨어적 “유령”에 가깝다고 표현함
• 인간 두뇌와 AI의 유사성은 제한적으로만 참고해야 하며, 실용적 목적(유용성) 중심으로 접근함이 더 현실적임

프리트레이닝, 학습, 메타러닝에 대한 논의

• 프리트레이닝은 인터넷의 어마어마한 정보 압축 결과로, 모델이 기억하는 지식은 흐릿하고 부분적임; 실제 질문에 대한 정보는 컨텍스트 윈도 내에서 “작동 메모리”처럼 더 직접적으로 활용됨
• 인컨텍스트 학습은 내부적으로 일종의 그래디언트 디센트 반복(Optimization loop) 와 유사한 메커니즘을 가질 수 있음. 연구 결과 선형회귀에 직접 이를 구현한 예도 있음
• 인간 두뇌도 하루 동안의 맥락 정보(context window)가 수면 등 과정에서 내부 가중치로 증류(distillation)되는 과정을 거침. LLM에는 아직 이와 유사한 장기 기억/지속 학습 메커니즘 부재

인간 수준의 인공지능에서 부족한 점

• Transformer 신경망은 “피질 조직”에 해당하는 역할을 하지만, 실제 두뇌의 기억(hippocampus), 감정(amygdala), 본능 등 핵심 부위는 구현되지 않음
• 실질적으로 지속적 장기학습, 개인화된 기억 저장 및 연산, 다양한 뇌 조직 모사 등이 대단히 미흡함
• 지금의 LLM은 여전히 직원이나 인턴처럼 신뢰할 수 있는 인공지능 구현에는 부족함이 많음

앞으로의 개선 방향과 기술적 전망

• 향후 10년 내에는 아키텍처, 최적화(optimizer), 손실함수, 데이터, 소프트웨어, 하드웨어 등 모든 분야가 동시에 발전해야 의미 있는 성과가 나올 것이라고 전망
• 현재 Transformer 구조나 딥러닝 방식은 일부 지속되겠지만, 스파스 어텐션(sparse attention), 확장된 컴퓨팅 파워, 대규모 데이터가 더해질 것으로 예상됨
• 지금까지의 발전도 특정 단일 요인보다 여러 부분의 동반 개선이 중요했음을 실감함

LLM의 인지적 결함 및 코딩 도구 활용

• LLM이 코딩 보조에 흔히 사용되지만, 고유한 설계와 방식이 필요한 집중적 코드 작성에는 한계가 많음
• 주로 (1) 완전 수동 작성, (2) 자동완성 활용, (3) “에이전트” 방식 등 세 가지가 혼용됨
• 베이스 코드는 반복적/좋은 사례가 많을수록 LLM이 잘 맞지만, 독창적이고 구조화가 중요한 코드는 LLM이 기존 스타일 고집, 불필요한 복잡도 증가, 컨벤션 오해 등 문제가 두드러짐
• 실제 예시로, PyTorch DDP 컨테이너 사용을 원하지 않음에도 LLM은 계속 이를 추천하여 코드 스타일과 구현방식 고수에 방해가 되었음을 언급함

결론

• AGI의 실현까지는 여전히 10년 정도의 시간이 더 필요하다는 점을 강조
• 인간의 자연적 학습 및 진화와 AI 학습 방식의 본질적 차이를 인식하고, 실용적이고 점진적인 접근이 계속되어야 함
• AI 및 AGI의 발전은 인류의 경제 성장 패턴(2% GDP 성장) 과 마찬가지로 점진적으로 실생활과 산업에 자연스럽게 녹아들 전망
• 핵심 기술의 발전은 반복적 혁신이 아닌, 데이터·연산력·알고리듬·소프트웨어 등의 보편적 동반 진화에 달렸음을 시사함