쓰라린 교훈 (2019)

AI 연구의 역사는 인간의 지식을 직접 활용하는 특수한 방법보다 연산 자원을 활용하는 범용적인 방법이 장기적으로 압도적인 성과를 거두었음을 보여줌. 인간의 지식을 내장하는 접근법은 단기적으로 효과적이지만, 방법론의 복잡성을 높이고 연산 규모의 확장에 따른 발전을 저해하는 경향이 있음. 체스, 바둑, 음성 인식, 컴퓨터 비전의 발전은 탐색과 학습이 막대한 연산 자원을 활용하여 기존의 인간 지식 중심 접근법을 대체해 온 과정임. 따라서 AI에는 인간이 발견한 지식 자체보다 복잡한 세계의 구조와 지식을 스스로 발견할 수 있는 범용적인 탐색 및 학습 방법을 내장해야 함. 쓰라린 교훈 (The Bitter Lesson) 1. 핵심 명제: 연산 자원을 활용하는 범용적 방법의 우월성 70년에 걸친 AI 연구의 가장 중요한 교훈은 연산 자원을 활용하는 범용적 방법이 장기적으로 압도적인 성과를 거둔다는 것. 근본적인 이유는 무어의 법칙으로 대표되는 연산 비용의 지속적인 기하급수적 감소. 연구자들은 단기적인 성과를 위해 인간의 도메인 지식을 활용하는 방법을 선호하지만, 장기적으로는 연산 자원을 효과적으로 활용하는 능력이 결정적. 두 접근법이 본질적으로 상충하지는 않지만, 현실에서는 다음과 같은 문제가 발생. 한쪽에 투자한 시간과 노력은 다른 쪽에 투자할 기회를 줄임. 연구자들은 자신이 선택한 접근법에 심리적 애착을 형성함. 인간의 지식을 내장하는 과정에서 방법론이 복잡해져 범용적인 연산 확장에 불리해짐. 2. 역사적 사례: 인간 지식 중심 접근법의 반복적인 패배 ① 컴퓨터 체스 (1997년) 체스의 구조에 관한 인간의 지식을 활용하는 접근법이 주류였음. 그러나 대규모 심층 탐색을 활용한 시스템이 세계 챔피언 카스파로프를 격파. 기존 연구자들은 무차별 탐색이 범용적인 전략도, 인간의 사고방식도 아니라며 결과를 인정하기 꺼림. 인간의 지식보다 연산 규모를 활용하는 단순한 탐색 방법이 우월함을 입증. ② 컴퓨터 바둑 (약 20년 후) 초기 연구는 바둑에 관한 인간의 지식을 활용해 탐색을 최소화하는 데 집중. 대규모 탐색과 자가 대국을 통한 가치 함수 학습이 도입되면서 기존 접근법의 효용이 사라짐. 탐색과 학습은 모두 막대한 연산 자원을 활용할 수 있게 하는 방법. 체스와 마찬가지로 인간의 이해를 활용하는 접근법에서 탐색과 학습으로 전환한 뒤 비약적인 발전이 이루어짐. ③ 음성 인식 (1970년대 이후) 초기에는 단어, 음소, 발성 기...