AI의 자율 연구개발이 그렇게 독창적이라는 말을 믿기 어렵다

Scrabble 엔진, Ultimate Tic-Tac-Toe 봇, 철학 연구 등 세 가지 사이드 프로젝트에서 AI의 기본적인 연구 판단력이 부족했음. 중요한 문헌을 놓치고, 의미 있는 결론을 얻기 어려운 실험을 진행함 자료를 찾는 것과 그 가치를 알아보는 것은 달랐음. 게임 봇 개발에서는 유용한 아이디어가 담긴 최신 블로그 글을 찾아놓고도, 오래된 논문보다 중요한 이유를 알아보지 못함 철학 연구에서는 많은 토큰을 쓰고 조사 결과를 위키로 구축했지만, 사소하고 가치가 낮은 방향을 반복해서 탐색함. 아키텍처 비교에서도 차이를 판별하기에 명백히 부족한 학습 데이터로 실험함 빠르게 결과를 확인하는 반복 최적화는 예외일 수 있음. Astra로 Scrabble의 합법적 수 나열 성능을 기존 최고 수준의 10배로 높였지만, 큰 도약 두 번은 사람의 구체적인 제안 뒤에 일어났음 Astra의 보고서는 이해하기 어려워 실제로 무엇을 했고 핵심 결과가 무엇인지 추가 문답으로 확인해야 하는 경우가 많았음. 결과를 충분히 이해하지 않은 채 계속 실행하게 두고 싶은 유혹도 생김 세 가지 프로젝트에서 드러난 판단력의 한계 자율 연구개발의 독창성에 대한 회의는 다음 세 가지 사이드 프로젝트를 지켜본 경험에 기반함 Scrabble 엔진: 새로운 최고 성능 엔진 개발을 목표로 함. 현재 최고 성능 엔진은 실질적으로 신경망 방식이 아니며, 최강의 인간 선수를 이기지 못함 Ultimate Tic-Tac-Toe를 플레이하는 봇을 개발함 AI Philosophy contest를 위해 철학을 연구하고 일부 증명을 형식화함 세 프로젝트 모두에서 모델의 기본적인 판단력이 매우 부족했음 문헌 검토에서 가장 중요하고 유용한 논문이나 블로그 글을 식별하지 못함 아키텍처 간 차이를 구분하기에 명백히 부족한 양의 학습 데이터로 실험해, 결과에 정보 가치가 없었음 철학 프로젝트에서는 많은 토큰을 사용하고 여러 조사를 거쳐 위키를 구축했지만, 극히 사소하고 가치가 낮은 방향으로 계속 탐색함 Ultimate Tic-Tac-Toe 개발에서는 Astra가 영리한 아이디어가 담긴 블로그 글을 찾고도 중요성과 관련성을 알아보지 못함 해당 글의 최신성과 온라인 대전에서의 뛰어난 성적을 보면, 이전 연도 논문보다 관련성이 높다는 점을 쉽게 파악할 수 있었음 그 아이디어를 Astra가 스스로 떠올릴 수 있었을지에도 의문이 남음 해커톤 논문에서도 나타난 유사한 빈틈 지난 주말 Apa...