450달러 이하로 O1 Preview 모델 직접 훈련

Sky-T1

$450로 O1 미리보기 모델 훈련하기

• O1 및 Gemini 2.0과 같은 모델은 복잡한 작업을 해결하는 데 뛰어난 사고력을 보여주며, 긴 내부 사고 과정을 통해 이를 수행함.
• 그러나 기술적 세부사항과 모델 가중치에 접근할 수 없어 학계 및 오픈 소스 커뮤니티의 참여에 장벽이 됨.
• 이에 대응하여 Still-2 및 Journey와 같은 수학 분야의 오픈 가중치 추론 모델을 훈련하려는 몇 가지 주목할 만한 노력이 나타남.
• UC Berkeley의 NovaSky 팀은 기본 및 지시 조정 모델의 추론 능력을 발전시키기 위한 다양한 기술을 탐구하고 있음.
• 이 연구에서는 수학뿐만 아니라 코딩에서도 경쟁력 있는 추론 성능을 동일한 모델에서 달성함.

기여자

• Dacheng Li, Shiyi Cao, Shu Liu, Tyler Griggs, Simon Mo, Shishir G. Patil, Joseph E. Gonzalez, Ion Stoica