AI에는 새로운 아이디어가 없다, 오직 새로운 데이터셋만 있을 뿐이다

5 days ago 5

AI의 발전은 주로 점진적이고 꾸준한 방식으로 이루어지고 있음
눈에 띄는 패러다임 변화는 드물며, 최근 주요 모델의 성능 향상은 미미한 수준을 보임
핵심적 돌파구들은 대체로 새로운 데이터 소스 활용에서 비롯되었음
모델 구조나 학습법보다는 데이터를 어떻게 확보하고 활용하느냐가 혁신의 근본적인 요인임
앞으로 YouTube 영상이나 로봇 데이터 등 미개척 데이터가 AI 발전의 열쇠가 될 가능성이 높음

AI 발전의 주요 동향

AI는 지난 15년간, 특히 최근 5년 동안 놀라운 발전을 이룩함. 대부분의 사람들은 이러한 발전이 연구 커뮤니티의 아이디어 공급 덕분이라고 생각하지만, 실제로는 모델의 효율성이나 속도는 연구를 통해 발전했으나, 획기적인 변화는 연구 아이디어 자체보다 데이터셋의 혁신에서 나옴.

연구와 점진적 발전

시스템적 개선 연구는 모델을 더 저렴하고 빠르게 만드는데 기여함
- 2022년 Stanford의 FlashAttention 개발로 메모리 활용 최적화
- 2023년 Google의 speculative decoding으로 추론 속도 향상
- 2024년 Muon 프로젝트는 새로운 옵티마이저 방식 제시
- 2025년 DeepSeek-R1은 오픈소스로 주요 AI 연구소 수준의 모델 제공
연구 결과는 arXiv, 학회, 소셜미디어 등을 통해 빠르게 공유되어 글로벌 지식이 축적되는 양상임

패러다임 전환과 한계

최근 대형 모델 Grok 3, GPT-4.5 등은 이전 모델 대비 눈에 띄는 혁신이 부족함
수학올림피아드 등 첨단 테스크에서의 성적은 저조하며 한계 노출
진정한 패러다임 변화(이미지넷과 AlexNet, Transformer/LLM, RLHF, Reasoning)는 새로운 데이터 원천의 등장과 맞물려 있음

AI의 4대 혁신 요약

Deep neural networks: 2012년 AlexNet – 이미지넷 이용 이미지 인식 혁신
Transformers & LLMs: 2017년 Transformer 구조, 2018년 BERT/GPT – 인터넷 텍스트 대규모 학습 가능
RLHF: 2022년 InstructGPT – 인간 피드백 데이터 활용
Reasoning: 2024년 OpenAI O1, DeepSeek R1 – verifier(검증 도구) 데이터 활용

이 네 가지는 모두 새로운 유형의 데이터셋을 대규모로 처음 동원한 계기였으며, 이때마다 연구 커뮤니티는 남은 데이터를 최대한 활용하려는 경쟁을 보임

데이터가 혁신의 본질인 이유

실제로 기술적 혁신보다 학습되는 데이터셋 교체가 성능에 더 큰 영향을 미침
- AlexNet 대신 다른 구조가 등장해도 ImageNet이 있었기에 발전이 가능
- Transformer가 아니더라도 LSTM, SSM 등이 동일 데이터로 비슷한 성능을 보임
데이터에 배울 수 있는 상한선(upper bound) 이 존재함을 시사
The Bitter Lesson에서 강조된 바처럼, 새로운 방법보다는 데이터 확보가 결정적임

차세대 패러다임 변화의 열쇠: 새로운 데이터

AI의 다음 큰 도약은 새로운 netwerk, RL 방식이 아닌 지금까지 미활용된 신규 데이터 소스를 이용할 때 일어날 가능성이 높음

가장 주목받는 후보: YouTube 등 동영상 데이터
- 유튜브에 매분 500시간의 영상이 업로드되는 수준
- 텍스트보다 수십 배 이상 방대한 정보를 담고 있고, 언어적 뉘앙스, 물리적·문화적 맥락까지 학습 가능
- Google 등 빅테크가 이 데이터셋 학습에 곧 본격적으로 나설 가능성 큼
또 다른 가능성: 로봇(embodied system)을 통한 물리적 세계 데이터 수집
- 카메라, 센서 데이터를 GPU에서 대규모 처리·학습 가능 인프라가 갖춰지면, 이 데이터 역시 AI 혁신의 근원이 될 확률 높음