Inkling: Thinking Machines Lab의 오픈 웨이트 모델

3 hours ago 2

처음부터 학습해 전체 가중치를 공개한 Inkling은 총 975B·활성 41B 파라미터의 MoE Transformer로, 최대 1M 토큰 문맥과 텍스트·이미지·오디오 기반 추론을 지원함
텍스트·이미지·오디오·비디오로 구성된 45조 토큰으로 사전 학습했으며, 특정 벤치마크보다 에이전트 작업·추론·코딩·지시 수행·사실성 전반의 범용성과 맞춤화 가능성을 우선함
추론 노력도를 0.2~0.99 범위에서 조절해 비용·지연 시간과 성능을 맞출 수 있으며, Terminal Bench 2.1에서는 Nemotron 3 Ultra와 같은 성능에 약 3분의 1 토큰을 사용함
현재 가장 강력한 개방형 또는 폐쇄형 모델은 아니지만, 멀티모달 기능과 효율적인 추론, Tinker 미세조정, 다양한 추론·배포 도구를 결합한 오픈 웨이트 기반을 지향함
함께 선보인 Inkling-Small 프리뷰는 총 276B·활성 12B 파라미터로 여러 평가에서 대형 모델과 비슷하거나 더 높은 결과를 냈으며, 테스트 완료 후 전체 가중치를 공개할 예정임

전체 가중치를 공개한 범용 모델

Thinking Machines Lab은 사람이 AI 모델을 직접 맞춤화할 수 있도록 처음부터 학습한 Inkling의 전체 가중치를 공개함
Inkling은 총 975B 파라미터 가운데 토큰당 41B가 활성화되는 Mixture-of-Experts Transformer임
- 최대 문맥 창은 1M 토큰임
- 텍스트·이미지·오디오·비디오로 구성된 45조 토큰으로 사전 학습함
- 텍스트·이미지·오디오를 기본 입력으로 함께 추론함
특정 분야에 집중하기보다 에이전트 작업, 추론, 코딩, 지시 수행, 사실성, 비전, 오디오를 포괄하는 균형 잡힌 기반 모델로 학습함
공개·폐쇄 모델 전체에서 가장 강력한 모델은 아니며, 멀티모달 기능과 효율적인 추론, Tinker 미세조정을 결합한 맞춤화 기반 모델을 목표로 함
여러 크기로 확장할 모델 제품군의 첫 릴리스이며, 더 가벼운 Inkling-Small도 프리뷰로 함께 공개함
Tinker에서 Inkling을 직접 미세조정할 수 있고, Tinker 콘솔의 Inkling Playground에서 대화하며 모델 특성을 확인할 수 있음
맞춤화 데모에서는 Inkling이 Tinker를 사용해 자체 미세조정 작업을 작성·실행·평가했으며, OpenCode 하네스 안에서 동작함

범용 에이전트와 결과물 제작

서로 다른 작업 흐름과 제품에 맞춰 미세조정할 수 있도록 한 분야의 최고 성능보다 폭넓은 작업 성능을 우선함
코딩 및 에이전트 하네스 학습 과정에서 도구 집합과 스키마를 무작위화해 특정 하네스에 대한 민감도를 낮춤
- 하네스 내부에서도 추론 노력도를 설정할 수 있음
- 대부분의 에이전트 벤치마크에서 오픈 웨이트 모델 중 경쟁력 있는 점수를 기록함
한 번의 프롬프트로 구직 신청 웹 앱을 만들고, 자연어 지시에 따라 저장된 프로필로 양식을 작성하는 브라우저 사용 에이전트를 앱에 내장함
생성된 웹 앱을 블라인드 방식으로 일대일 비교하는 Design Arena의 Agentic Web Dev 리더보드에서 강한 오픈 웨이트 모델군에 포함됨
정확한 지시 수행과 일관된 스타일을 유지하며 9페이지 분량의 음식·여행 PDF 저널 같은 다중 페이지 결과물을 생성함
GPT Codex가 검토자로 제공한 피드백을 40회 반영해 실시간 서버·봇·리더보드를 갖춘 온라인 멀티플레이어 Snake 게임을 개선함
- 긴 반복 개선 과정을 유지하면서 피드백으로 결과물을 발전시키는 능력을 협업 작업의 핵심으로 봄

비용과 성능을 조절하는 추론 노력도

실제 애플리케이션에서는 최고 성능뿐 아니라 토큰 비용과 지연 시간도 제약이 되며, 특히 낮은 지연 시간은 반복적인 협업과 개선에 중요함
추론 노력도를 0.2~0.99 범위에서 조절해 성능과 생성 토큰 수 사이의 균형을 선택할 수 있음
Terminal Bench 2.1, Humanity’s Last Exam(HLE), IFBench에서 노력도별 성능과 평균 생성 토큰을 비교함
- Terminal Bench 2.1에서는 Nemotron 3 Ultra와 같은 수준의 성능을 약 3분의 1 토큰으로 달성함
- HLE 결과는 최종 릴리스 이전 체크포인트에서 측정돼 최종 모델보다 약간 낮음
모델을 수백만 번 호출하거나 긴 작업 흐름에 포함할 때는 단일 최고 점수보다 전체 비용·성능 곡선을 기준으로 사용 사례별 설정을 고를 수 있음

인코더 없는 네이티브 멀티모달 구조

실시간 음성·비전 협업을 지원하는 interaction models system의 백그라운드 추론 모델로 활용할 수 있도록 처음부터 멀티모달로 학습함
비전과 오디오 모두 별도 인코더가 없는 인코더 없는 구조를 사용함
- 오디오는 dMel 스펙트로그램으로 입력함
- 이미지는 4계층 hMLP로 40×40픽셀 패치로 인코딩하며, Vision Transformer 관련 연구의 설계를 따름
- 두 입력은 가벼운 임베딩 계층을 통과한 뒤 텍스트 토큰과 함께 처리됨
오디오에서는 음성 전사, 음성 지시 수행, 녹음 질의응답, 장시간 오디오 추론을 지원함
- effort=0.99에서 Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%를 기록함
- VoiceBench·MMAU·Audio MC 기준으로 강한 오픈 웨이트 오디오 모델군에 속함
비전에서는 이미지 설명과 질의응답뿐 아니라 차트·다이어그램·수학적 시각 추론까지 수행함
- MMMU Pro Standard 10은 73.5%, Charxiv RQ는 78.1%임
- Python으로 확대·자르기 같은 이미지 조작을 사용하면 Charxiv RQ가 82.0%로 올라감
후속 모델과 학습 파이프라인에서 멀티모달 기능을 계속 확장할 계획임

확신도 보정과 불확실성 처리

Inkling의 인식론적 특성(epistemics) 은 보정된 확신도, 지시 수행, 검열 저항을 함께 다루는 개념임
모든 답에 과도한 확신을 보이면 정보가 부족하거나 내용을 지어낼 때도 사용자가 매번 검증해야 하므로, 해결된 실제 질문에 적절한 채점 규칙을 적용하는 강화학습으로 확률 보정을 학습함
2026년 6월 30일부터 7월 13일까지 공개 버전과 다른 체크포인트로 수행한 예측 평가 결과는 다음과 같음
- 검색 없는 ForecastBench Brier Index는 61.1±0.79, 검색 사용 시 63.7±0.82임
- Prophet Arena Brier Score는 0.1617이며 낮을수록 좋음
복잡하고 검증하기 어려운 질문의 지시 수행에는 rubric grader와 claims grader 두 자동 평가기를 사용함
- rubric grader는 좋은 답변에 필요한 항목을 체크리스트로 평가하지만, 관련 있어 보이는 사실을 대량 출력해 점수를 노리는 방식에 취약함
- claims grader는 에이전트 웹 검색으로 각 사실 주장을 검증하고 확인되지 않는 주장을 감점함
- 두 평가기를 함께 사용해 유용성을 높이면서 환각을 줄이도록 학습함
장문 답변에서 보정된 불확실성을 직접 학습하기 위해 기권 보상(abstention-aware rewards)을 적용한 단문 사실 질의응답 데이터도 사용함
- 정답 가능성이 높을 때만 답변이 보상되며, 불확실하면 “모르겠다”고 답하거나 조건부 추측을 내놓는 편이 유리함
- 일부 프롬프트는 유보 표현을 권장하거나 금지해, 강제 추측과 보정된 무응답 중 사용자의 선호를 따르도록 함
검열 대상이 될 수 있는 주제에도 직접 답하도록 학습했으며, Cognition의 Propaganda and Censorship Eval에서 검열에 따르지 않는 강한 패턴을 보임

위험 능력과 안전 행동 평가

모든 입력 양식에 적용되는 내부 안전 행동 명세로 학습한 뒤 외부 안전 평가자를 통해 결과를 검증함
위험 능력 평가는 CBRN, 사이버, 통제 상실을 포함하며, 사람과 AI 사이의 위협은 아첨 성향, 취약한 사용자, 해로운 조작을 다룸
effort=0.99의 주요 안전 평가 결과는 다음과 같음
- FORTRESS Adversarial 78.0%
- FORTRESS Benign 95.9%
- StrongREJECT 98.6%
비교 대상 오픈 웨이트 모델 중 FORTRESS에서 가장 강한 내장 보호장치를 보였으며, 무기·폭력 관련 유해 요청은 더 많이 거부하면서 겉보기에 유사한 정상 요청의 과잉 거부는 줄임
명백한 유해 요청 거부를 측정하는 StrongREJECT에서는 98% 이상으로 다른 개방형·폐쇄형 모델과 비슷한 수준임
맞춤형 모델에서는 미세조정이 안전 행동과 능력 상승에 미치는 영향을 계속 연구함

전체 벤치마크와 측정 조건

모든 기본 평가는 effort=0.99, temperature=1.0으로 실행했으며, 코딩 평가에는 최대 256K 토큰의 작업 경로 제한을 적용함
HLE, GPQA Diamond, GDPVal, Tau 3 Banking, AA Omniscience, MMMU Pro에는 가능한 경우 Artificial Analysis가 외부에서 보고한 점수를 사용함
Inkling의 대표 점수는 다음과 같음
- 추론: HLE 텍스트 전용 29.7%, 도구 사용 46.0%, AIME 2026 97.1%, GPQA Diamond 87.2%
- 에이전트 코딩: SWEBench Verified 77.6%, SWEBench Pro Public 54.3%, Terminal Bench 2.1 63.8%
- 일반 에이전트: GDPVal-AA v2 1238, MCP Atlas 74.1%, Tau 3 Banking 23.7%, 문맥 관리 포함 BrowseComp 77.1%
- 사실성·대화: SimpleQA Verified 43.9%, AA Omniscience 2.1, IFBench 79.8%, Global-MMLU-Lite 88.7%
- 비전·오디오: MMMU Pro 73.5%, Python 사용 Charxiv RQ 82.0%, Audio MC 56.6%, MMAU 77.2%, VoiceBench 91.4%
결과를 해석할 때는 다음과 같은 평가 조건 차이를 고려해야 함
- SWEBench Verified의 Inkling 결과는 bash 전용 하네스로 측정했으며, 외부 모델에는 자체 보고 점수를 사용함
- Terminal Bench 2.1은 내부 코딩 하네스로 측정했고, 웹 검색에서 정답 오염이 확인된 소수 결과는 0점 처리함
- VoiceBench는 하드코딩된 문자열 일치 방식이 출력 형식에 민감해 예상 답변 형식을 따르라는 시스템 메시지를 추가함
- Audio MC의 일부 비교 모델은 공식 리더보드에 없어 내부 평가함
- Python 사용 CharXiv RQ의 Claude Fable 5와 GPT 5.6 Sol은 내부 Python 하네스로 측정함

장문 문맥을 위한 MoE 아키텍처

Inkling의 MoE 구조는 대체로 DeepSeek-V3를 따르면서 효율성과 장문 문맥 성능을 위한 변경을 적용함
각 MoE 계층에는 256개 라우팅 전문가와 2개 공유 전문가가 있으며, 토큰마다 라우팅 전문가 6개가 활성화됨
- sigmoid 기반 라우터와 보조 손실 없는 부하 균형 바이어스를 사용함
- 선택된 라우팅 전문가와 공유 전문가의 점수를 함께 정규화해 출력 결합 가중치로 활용함
어텐션은 슬라이딩 윈도우 계층과 전역 계층을 5:1 비율로 교차 배치하고 8개 KV head를 사용함
위치 인코딩에는 널리 쓰이는 RoPE 대신 상대 위치 임베딩을 채택함
- Music Transformer 계열의 상대 위치 표현이 더 긴 시퀀스에서 성능과 외삽에 유리했음
짧은 합성곱은 두 지점에 적용함
- 각 어텐션 계층의 key·value projection 뒤
- 어텐션 및 MLP 잔차 분기가 주 잔차 스트림에 합쳐지기 전

45조 토큰 사전 학습과 대규모 강화학습

텍스트·이미지·오디오·비디오로 구성된 45조 토큰을 사용해 NVIDIA GB300 NVL72 시스템에서 학습함
최적화에는 큰 행렬 가중치용 Muon과 나머지 파라미터용 Adam을 조합함
- 하이퍼파라미터 일정은 modular manifolds 연구에서 가져옴
- 가중치 감쇠 강도를 학습률 제곱에 연동해 학습 기간이 달라져도 전체 가중치 크기를 안정적으로 유지함
후속 학습은 수학, 에이전트 코딩·도구 사용, 오디오, 이미지, 대화, 안전 영역을 포괄함
- 초기 SFT에는 Kimi K2.5 등 오픈 웨이트 모델이 생성한 합성 데이터를 사용함
- 초기 SFT는 전체 연산의 작은 일부이며, 대부분은 합성 및 사람이 만든 환경에서의 대규모 강화학습에 투입함
비동기 강화학습을 3천만 회 이상의 롤아웃으로 확장하고 두 차례의 장기 연속 실행에서 안정적으로 학습함
- AIME, HLE, GPQA 등을 묶은 별도 추론 평가 점수가 전체 과정에서 로그 선형적으로 향상됨
시스템 메시지와 토큰당 비용을 바꿔 샘플별 노력도를 지정하고, 서로 다른 양의 토큰을 사용하도록 학습해 추론 노력도 제어 능력을 얻음
강화학습이 진행되면서 사고 과정은 문법적 연결어나 관사를 줄이는 압축된 형태로 바뀌었지만, 이해 가능성과 최종 답변은 유지됨
- 보상이 직접 목표로 삼은 결과가 아니라 효율성 압력에서 나타난 변화임
- Cognition의 SWE-1.7 학습에서도 비슷한 현상이 관찰됨
후속 모델에서는 사전 학습·후속 학습·강화학습 전반의 연산 규모를 더 확대할 계획임

더 작고 빠른 Inkling-Small 프리뷰

Inkling-Small은 총 276B·활성 12B 파라미터의 MoE 모델로, 활성 41B인 Inkling보다 비용과 지연 시간이 낮음
개선된 사전 학습 데이터와 학습 방식 덕분에 여러 벤치마크에서 대형 Inkling과 비슷하거나 더 높은 결과를 냈으며, 두 모델은 같은 확장형 후속 학습 스택을 사용함
effort=0.99에서 대형 모델과 비교한 주요 결과는 다음과 같음
- HLE 도구 사용 46.6% 대 46.0%, GPQA Diamond 88.3% 대 87.2%
- MCP-Atlas 74.9% 대 74.1%, IFBench 83.4% 대 79.8%
- Python 사용 Charxiv RQ 83.4% 대 82.0%, MMAU 77.5% 대 77.2%, StrongREJECT 98.8% 대 98.6%
대형 모델보다 낮은 결과도 있음
- Terminal Bench 2.1은 52.7% 대 63.8%, Tau 3 Banking은 13.6% 대 23.7%
- SimpleQA Verified는 20.9% 대 43.9%, Audio MC는 49.6% 대 56.6%임
코딩, LLM 기반 채점, 다른 모델용 합성 데이터 생성처럼 비용과 지연 시간이 중요한 작업에 적합함
현재 테스트를 마무리하고 있으며, 완료 후 전체 가중치를 공개할 예정임

미세조정과 배포 생태계

범용 모델로 해결하기 어려운 조직별 전문 문제는 전문 지식을 활용한 미세조정으로 격차를 줄일 수 있으며, Inkling은 미세조정에서 빠르게 학습하도록 설계됨
Tinker에서는 64K와 256K 문맥 길이로 Inkling을 사용할 수 있음
- 제한된 기간 동안 50% 할인 가격을 적용함
- 세부 가격은 Tinker 모델 문서에서 확인할 수 있음
Tinker cookbook은 Inkling을 기본 지원하며, 오디오 기능을 활용하는 레시피 3개를 추가함
tml-renderer는 도구 호출, 추론 콘텐츠, 멀티모달 입력을 안정적으로 샘플링하고 후속 학습하는 기능을 제공함
Inkling Playground는 에이전트 웹 검색을 통합한 대화 인터페이스이며 제한된 기간 동안 무료임
Tinker에서 미세조정한 체크포인트는 TogetherAI, Fireworks, Modal, Databricks, Baseten API로 배포할 수 있음
오픈소스 추론 및 강화학습 생태계도 지원함
- RadixArk와 협력해 SGLang 및 Miles를 지원함
- Inferact와 vLLM, Lightseek와 TokenSpeed, Unsloth와 llama.cpp를 연동함
- Hugging Face와 transformers 통합을 지원함
Hugging Face의 Inkling 저장소에서 원본 체크포인트와 NVIDIA Blackwell용 효율적 추론을 위한 NVFP4 체크포인트를 받을 수 있음