Chomsky와 통계적 학습의 두 문화(2011)

통계적 언어 모델의 예측 성능과 과학적 이해는 대립할 필요가 없음. 공학적 성공이 과학적 타당성을 입증하지는 않지만, 모델의 성공과 실패, 데이터에 따른 학습 양상은 언어를 이해하는 근거가 될 수 있음 통계적 모델, 확률 모델, 학습된 모델은 서로 다른 개념임. 단순한 단어 Markov 모델의 한계를 모든 확률 모델의 한계로 확대하면, 구문 트리와 의미, 담화를 다루는 모델까지 잘못 배제하게 됨 2011년 당시 통계적 방법은 언어 처리의 지배적인 접근법이었음. 검색, 음성 인식, 기계 번역뿐 아니라 품사 태깅과 구문 분석에서도 널리 쓰였으며, 규칙 기반 또는 혼합형 시스템의 성공 사례도 존재함 문법성의 경계, 드문 용법, 언어 변화는 문장을 문법적/비문법적으로만 나누는 모델에 어려움을 줌. 확률 모델은 이런 차이를 연속적인 가능성으로 다루며, 관측하지 못한 문장에도 확률을 부여할 수 있음 데이터 모델링 문화와 알고리듬 모델링 문화는 단순한 내부 구조의 발견과 관측 및 새로운 데이터의 예측 중 어디에 무게를 두는지가 다름. 언어 연구에서도 모델의 단순함보다 실제 언어 사용에 대한 충실성이 우선해야 함 논쟁의 출발점과 다섯 가지 쟁점 2011년 MIT의 Brains, Minds, and Machines 심포지엄에서 Chomsky는 통계적 방법으로 학습한 확률 모델의 성공에 관한 Steven Pinker의 질문에 답함 발언 기록에서 일부 성공과 많은 실패를 거론하고, 분석되지 않은 데이터를 근사하는 일을 성공으로 보는 기준이 과학사에서 새롭다고 비판함 논쟁은 공학적 성공, 사실 수집, 해석 가능성, 인간 언어 처리와의 일치, 언어 학습 가능성이라는 다섯 쟁점으로 나뉨 공학적 성공은 과학의 유일한 목표나 척도가 아니지만, 무언가 제대로 작동한다는 증거이며 과학적 모델의 타당성을 뒷받침할 수 있음 사실 수집과 이론 구축은 서로 의존하며, 방대한 사실의 축적은 과학사의 예외가 아니라 지배적인 활동임 수십억 매개변수를 하나씩 읽어 이해하기는 어렵지만, 모델이 어디서 성공하거나 실패하는지, 데이터가 늘 때 어떻게 학습하는지 살펴 통찰을 얻을 수 있음 단어 확률만 다루는 Markov 모델도, 확률 없는 간결한 트리 모델도 언어 전체를 설명하지 못함 인간에게 선천적인 언어 학습 능력이 있다는 점과 그 능력이 통계적 학습을 사용하는지는 별개의 문제임 통계적 모델과 확률 모델의 구분 수학적 모델은 변수 사이의 관계를 함수나 관계식으...