Cerebras, 조 단위 파라미터 AI 모델 배포

Cerebras는 대규모 모델의 가중치를 여러 WSE-3T 웨이퍼의 온칩 메모리에 나눠 배치하고 파이프라인으로 실행해, 수조 개 파라미터 모델을 초당 1,000~2,000개 이상의 토큰 속도로 구동함 약 3조 파라미터의 Kimi K3는 4비트 가중치 양자화와 요청당 평균 256k 토큰 등의 가정에서 총 59개 웨이퍼에 배치할 수 있음 레이어 전체를 온칩 SRAM에 담을 수 있어 대부분의 경우 가중치는 이동하지 않고 활성화 값만 웨이퍼 사이를 이동하며, Ethernet 기반 RDMA의 홉당 지연은 약 2마이크로초임 각 파이프라인 단계가 서로 다른 요청을 동시에 처리하며, 요청을 묶는 마이크로배치가 작으면 개별 요청 속도에, 크면 전체 처리량에 유리함 동시 요청 수는 KV 캐시용 온칩 메모리에 제한되지만, 시스템 효율은 동시성이나 배치 크기보다 동일한 출력 생성 속도에서의 전력당 총 토큰 처리량으로 평가해야 함 Kimi K3로 살펴보는 배포 조건 단일 WSE-3T 웨이퍼에는 온칩 메모리가 44GB 있지만, 조 단위 파라미터 모델은 가중치만으로도 테라바이트 단위의 메모리가 필요함 예시 모델인 Kimi K3는 약 3조 파라미터의 오픈소스 모델로, 선형 어텐션 레이어 69개와 전체 어텐션을 수행하는 밀집 레이어 24개로 구성됨 Terminal-Bench 2.1에서 88.3%를 기록했으며, 비교 대상인 GPT-5.6 Sol은 88.8%임 BrowseComp에서는 91.2%로 GPT-5.6 Sol의 90.4%를 웃돌아, 일부 벤치마크에서 선도적인 독점 모델보다 높은 코딩/에이전트 역량을 보임 모델 관련 추가 자료는 Kimi K3 소개에서 확인할 수 있음 배치 계산은 요청당 평균 256k 토큰, Hugging Face 구현과 같은 4비트 가중치 양자화, 8비트 KV 캐시를 가정함 레이어 크기와 웨이퍼 수 계산 3조 파라미터를 각각 4비트로 저장한 가중치 용량을 93개 레이어로 나누면 레이어당 약 16GB가 됨 밀집 레이어는 활성 요청의 모든 토큰에 대한 키와 값을 저장해야 하므로, 웨이퍼당 레이어 1개만 배치하고 남은 SRAM을 KV 캐시에 할당함 선형 어텐션 레이어는 토큰별 키와 값 대신 문맥 길이에 관계없이 요청당 작은 고정 크기 상태를 유지함 KV 캐시 공간을 별도로 확보할 필요가 없어 웨이퍼당 레이어 2개를 배치할 수 있으며, 가중치가 차지하는 용량은 약 32GB임 선형 레이어 69개와 밀집 레이어 24개를 배치하려면...