Bonsai 27B - 휴대폰에서 실행되는 27B급 모델

• 기존 27B 모델은 4비트로 줄여도 18GB에 달하지만, PrismML은 Qwen3.6 27B를 기반으로 추론·도구 호출·비전·컴퓨터 사용을 지원하는 Bonsai 27B를 iPhone의 메모리 한도에 맞춤
• 품질 중심의 Ternary 모델은 가중치당 1.71비트로 5.9GB, 용량 중심의 1-bit 모델은 1.125비트로 3.9GB이며, 언어 네트워크 전체에 저비트 표현을 적용함
• 사고 모드의 15개 벤치마크에서 Ternary 모델은 완전 정밀도 기준 성능의 95%, 1-bit 모델은 90% 를 유지했고 종합 점수는 각각 80.5점과 76.1점임
• NVIDIA GeForce RTX 5090에서 최대 163 tok/s, M5 Max에서 최대 87 tok/s를 기록하며 262K 토큰 문맥, 4비트 비전 타워, 추측 디코딩을 지원함
• 로컬 실행은 반복적인 에이전트 작업의 단계별 API 비용과 데이터 전송을 없애며, 민감한 작업은 기기에서 처리하고 어려운 단계만 클라우드로 보내는 하이브리드 배포를 가능하게 함

27B급 모델을 휴대폰에 넣는 방법

• 기존 27B 모델은 16비트 정밀도에서 약 54GB, 일반적인 4비트 빌드에서도 18GB를 차지해 휴대폰과 대부분의 노트북에 로컬로 배포하기 어려움
• Qwen3.6 27B 기반의 Bonsai 27B는 다단계 추론, 구조화된 도구 호출, 비전 작업과 함께 여러 단계에서 일관성을 유지하는 컴퓨터 사용 에이전트 루프를 지원함
• 두 가지 저비트 구성은 서로 다른 배포 환경을 겨냥함
  • Ternary Bonsai 27B는 {−1, 0, +1} 가중치와 FP16 그룹별 스케일링을 사용해 가중치당 실효 1.71비트, 5.9GB 크기를 달성함
  • 노트북급 품질을 목표로 하며 전체 추론·도구 호출·에이전트 기능을 제공함
  • 1-bit Bonsai 27B는 {−1, +1} 가중치와 같은 그룹별 스케일링을 사용해 가중치당 실효 1.125비트, 3.9GB 크기를 달성함
  • iPhone 17 Pro의 메모리 예산 안에 들어가는 휴대폰급 용량에 초점을 맞춤

종단 간 저비트·멀티모달 구성

• 저비트 표현은 임베딩, 어텐션, MLP, LM head를 포함한 언어 네트워크 전체에 적용되며, 일부 구간을 더 높은 정밀도로 우회하지 않음
• 두 모델 모두 멀티모달이며 비전 타워는 압축된 4비트 형식으로 제공돼 스크린샷·문서·카메라 입력을 기기에서 처리할 수 있음
• 최대 262K 토큰 문맥을 지원함
• 초안을 생성한 뒤 검증하는 무손실 가속 방식인 추측 디코딩을 사용할 수 있음
• 모델 가중치는 Apache 2.0 License로 제공됨

15개 벤치마크에서 유지한 성능

• 모델의 전체 추론 능력을 사용하는 사고 모드에서 지식, 추론, 수학, 코딩, 지시 이행, 도구 호출, 비전을 아우르는 15개 벤치마크를 평가함
• 완전 정밀도 Qwen3.6 27B의 종합 점수는 85.0점이며, Ternary Bonsai 27B는 80.5점, 1-bit Bonsai 27B는 76.1점을 기록함
  • Ternary 모델은 완전 정밀도 기준 성능의 95% 를 유지함
  • 1-bit 모델은 기준 성능의 90% 를 유지함
• 영역별 점수는 다음과 같음
  • 수학 — GSM8K, MATH-500, AIME25, AIME26: 완전 정밀도 95.3, Ternary 93.4, 1-bit 91.7
  • 코딩 — HumanEval+, MBPP+, LiveCodeBench: 완전 정밀도 88.7, Ternary 86.0, 1-bit 81.9
  • 에이전트·도구 호출 — BFCL v3, TauBench: 완전 정밀도 80.0, Ternary 74.0, 1-bit 66.0
  • 지시 이행 — IFEval, IFBench: 완전 정밀도 78.4, Ternary 71.8, 1-bit 65.8
  • 지식·STEM — MMLU-Redux, MuSR: 완전 정밀도 83.1, Ternary 77.0, 1-bit 73.4
  • 비전 — MMMU Pro, OCRBench: 완전 정밀도 72.6, Ternary 65.2, 1-bit 59.6
• 수학과 코딩은 성능 감소가 상대적으로 작고, Ternary 모델의 도구 호출 성능도 완전 정밀도에 가까운 수준을 유지함
• 같은 기반 모델에 적용한 가장 공격적인 일반 저비트 빌드는 1-bit Bonsai 27B보다 메모리를 2.5배 더 사용하면서도 더 낮은 점수를 기록함

기가바이트당 지능 밀도

• 1-bit Bonsai 27B는 완전 정밀도 2B 모델보다 작은 용량으로 27B급 성능을 제공함
• PrismML이 1-bit Bonsai 8B에서 도입한 지능 밀도 기준으로 1-bit Bonsai 27B는 GB당 0.53을 기록함
  • 완전 정밀도 기준보다 10배 이상 높음
  • 사용 가능한 최상위 저비트 대안보다 약 2.7배 높음
• 이 구분에서 모델의 절대 능력은 수행할 수 있는 작업을 결정하고, 지능 밀도는 그 작업을 실행할 수 있는 기기와 환경을 좌우함

지속형 에이전트 작업을 로컬로 옮기기

• AI 작업은 단일 응답에서 벗어나 실제 도구를 사용하는 비서, 무인 워크플로, 수십 개 문서를 종합하는 연구처럼 지속적인 작업으로 이동하고 있음
• 에이전트는 모델을 한 번이 아니라 수백 번 호출하며, 각 단계에서 문맥을 전달하고 구조화된 출력을 만든 뒤 다음 단계의 입력으로 사용함
• 클라우드 API는 여전히 많은 제품에 적합하지만, 에이전트 작업을 클라우드에서만 실행하면 구조적 제약이 생김
  • 모든 단계가 원격 요청으로 처리됨
  • 반복할 때마다 토큰 비용이 누적됨
  • 계획, 도구 호출, 중간 결과뿐 아니라 사용자의 개인 파일·화면·데이터까지 네트워크를 통과함
• 기기에서 충분한 능력의 모델을 실행하면 에이전트를 제품 내부에 둘 수 있음
  • 100단계 루프에서도 추가 모델 호출 비용이 발생하지 않음
  • 사용자 데이터가 기기를 떠나지 않음
  • 지속형 온디바이스 에이전트, 오프라인 비서, 로컬 비공개 데이터를 직접 처리하는 비서를 구현할 수 있음
• 민감하거나 프런티어급 성능이 필요 없는 작업은 로컬 모델로 보내고, 가장 어려운 단계만 클라우드 모델에 맡기는 하이브리드 아키텍처로 에이전트 시스템의 작업당 비용을 낮출 수 있음

실행 속도와 휴대폰 메모리 제약

• NVIDIA GeForce RTX 5090에서 측정한 최대 생성 속도는 다음과 같음
  • 1-bit 모델: 163 tok/s
  • Ternary 모델: 134 tok/s
• M5 Max에서 측정한 최대 생성 속도는 다음과 같음
  • 1-bit 모델: 87 tok/s
  • Ternary 모델: 58 tok/s
• 휴대폰 앱은 기기의 전체 메모리를 사용할 수 없으며, 12GB iPhone에서도 모델이 쓸 수 있는 메모리는 약 6GB임
• 이 예산에는 모델 가중치뿐 아니라 KV 캐시와 활성값도 들어가야 하므로 저장 파일 크기만 줄이는 것으로는 충분하지 않음
• 약 4GB인 1-bit Bonsai 27B는 작업에 필요한 여유 공간을 남기면서 이 메모리 한도를 충족함
• iPhone 17 Pro Max의 멀티모달 에이전트 데모는 캐시와 사전 입력된 이미지 문맥을 사용하는 데모 모드로 실행됨

지원 플랫폼과 배포 방식

• Apple 기기에서는 MLX를 통해 Mac, iPhone, iPad에서 네이티브로 실행함
• NVIDIA GPU에서는 CUDA를 사용함
• 두 플랫폼 모두 하이브리드 어텐션 아키텍처에 맞춰 제작한 사용자 정의 저비트 커널을 활용함
• 제한된 기간 동안 개발자가 모델을 시험할 수 있는 무료 개발자 프리뷰 API를 제공함
• 압축·평가·벤치마킹 과정의 전체 기술 세부 사항은 Bonsai 27B 백서에서 확인할 수 있음

더 큰 모델과 새로운 아키텍처

• Bonsai 27B는 사고, 멀티모달 이해, 비전, 도구 사용을 포함한 현대적 모델의 기능을 일반 사용자가 보유한 기기에서 실행할 수 있는 크기로 줄임
• 압축 방법론은 특정 아키텍처에 종속되지 않으며, PrismML은 더 큰 모델과 새로운 아키텍처를 개발 중임
• 지능 밀도가 높아질수록 고급 AI를 실행할 수 있는 기기·제품·환경의 범위가 휴대폰부터 단일 GPU 서버까지 넓어짐