Baidu, 사전학습 기반 모델 ERNIE 5.5 Flash Base 공개

Baidu가 ERNIE-5.5-Flash-Base의 사전학습 종료 시점 가중치를 공개함. 중간 학습이나 후속 학습을 거치지 않아 도메인 적응, 지시 튜닝, 강화학습 연구의 출발점으로 사용할 수 있음 전체 2,800억 파라미터 중 토큰당 140억 개를 활성화하는 희소 MoE 모델이며, 33.5조 토큰으로 처음부터 학습함. 사전학습 문맥은 최대 128K, 미세조정과 추론 문맥은 1M 토큰을 지원함 하이브리드 희소 어텐션으로 대부분의 층에서 과거 문맥을 128배 압축하고, 일부 층에서 토큰 단위 접근을 유지함. 모델 용량, 활성 연산량, KV 캐시와 긴 문맥 처리 비용을 함께 고려한 설계임 Baidu의 동일 조건 비교에서 시험, 추론, 코드 벤치마크에서 강한 성능을 보임. HumanEval+는 82.3, MMLU-Pro는 78.4를 기록했지만 모든 평가에서 비교 모델을 앞선 것은 아님 가중치는 FP8/BF16 형식으로 제공하며 SGLang과 vLLM에서 실행할 수 있음. 별도 모델 라이선스가 적용되고, 후속 학습을 마친 ERNIE 5.5 Flash는 추후 공개할 예정임 공개 범위와 기본 사양 ERNIE-5.5-Flash-Base는 사전학습 종료 직후의 단일 체크포인트이며, 중간 학습과 후속 학습을 적용하지 않음 개발자가 도메인 적응, 추론, 에이전트 학습의 데이터와 목표를 직접 선택할 수 있음 같은 출발점에서 학습 방법을 비교하고 각 방법의 추가 효과를 측정하는 연구 기준선으로 활용할 수 있음 모델은 43개 Transformer 층, 은닉 차원 4096, 어텐션 헤드 64개로 구성됨 전체 파라미터는 280B, 토큰당 활성 파라미터는 14B임 Muon 최적화기와 FP8 혼합 정밀도로 33.5T 토큰을 처음부터 학습함 사전학습 중 문맥 길이를 최대 128K까지 점진적으로 확장했으며, 미세조정과 추론에서는 1M 토큰을 지원함 추가 학습의 반복 샘플링과 에이전트의 다중 턴 상호작용, 긴 문맥이 만드는 비용을 고려해 모델과 학습 시스템을 공동 설계함 개발자가 대규모 사전학습 비용 대신 원하는 작업과 학습 방법에 자원을 쓸 수 있도록 하는 것이 공개 목표임 긴 문맥 비용을 줄이는 어텐션 MLA와 HCA를 결합해 7개 층 중 하나만 전체 문맥에 대한 토큰 단위 접근을 유지함 43개 층 중 37개 HCA 층은 128개 토큰을 캐시 항목 하나로 압축하고, 압축된 전체 기록과 최근의 비압축 토큰 구간을 함께 참조함 6개 MLA 층은 ...