Microsoft Research의 AI Frontiers 그룹이 막을 내림

AI Frontiers(AIF) 가 Microsoft AI로 재편된 뒤 막을 내림. 공동 설립에 참여한 John Langford는 팀원들의 거취를 최대한 정리하고 회사를 떠남 약 50명 규모의 AIF는 개인 연구만으로 경쟁하기 어려워진 AI 환경에 대응해 조직적인 연구를 추진했으며, 에이전트와 새로운 모델 역량을 개발함 Langford가 경험한 Microsoft AI의 규모 확장 중심 전략은 AIF의 연구 지향과 양립하기 어려웠음. 연구보다 데이터 확보, 생성, 개선에 집중하는 환경이었음 연구를 통한 효율 개선은 규모 확장과 별개로 큰 가치를 가질 수 있음. ByteDance 실험은 Full Bandwidth Transformer의 변형이 두 배 크기 모델에 필적할 가능성을 시사함 Langford는 연구의 실제 활용 경로 부재와 비자발적 조직 개편으로 흔들린 신뢰 때문에 Microsoft Research 복귀도 선택하지 않음. 다음 해에는 기존 AIF 연구진과 함께하는 인턴십도 열리지 않음 AI Frontiers의 설립과 연구 성과 2023년 ChatGPT 출시 이후, Langford와 동료들은 Microsoft Research(MSR)에 기존보다 조직적인 연구 체계가 필요하다고 판단해 AIF를 설립함 다른 연구 그룹의 지원과 집중도가 높아져, 개인의 영리한 아이디어만으로는 속도와 비교 기준 모델의 경쟁력을 확보하기 어려웠음 그 결과 연구가 늦게 나오거나 아이디어의 가치를 충분히 입증하지 못할 가능성이 컸음 약 50명 규모의 AIF는 하향식과 상향식 사이에서 일관된 연구 활동을 조직하려 했음 의견 충돌을 해결하기 어려울 때가 있었고, 컴퓨팅 자원 부족도 자주 심각한 병목이 됨 Langford는 작은 규모와 이전 연구 방식에 비춰 볼 때, AIF가 선도적인 성과를 내고 있다고 봤음 연구의 상당 부분은 에이전트 작동 방식에 집중했으며, Autogen 오케스트레이션 프레임워크와 Fara 컴퓨터 사용 에이전트가 대표 사례임 뉴욕 연구진 일부는 새로운 기초 역량 개발에 집중함 Next Latent는 외삽을 가능하게 하는 학습 목적함수임 Dion3는 Muon을 최적화하고 개선함 Full Bandwidth Transformer는 재귀를 통해 모델의 역량을 효율적으로 크게 높임 AIF는 MSR 전체에 기본적으로 공유되는 모노레포를 구축해 연구 자산 공유도 추진함 여기에는 Langford가 지난달 COLM 기조연설에서 소개한,...