Nanbeige4.3 33B, 한국어 문서 RAG 299문항 직접 채점: 공식 벤치마크에선 qwen3.8 27B를 이겼지만 한국...

4 days ago 20

10월 24일 공개된 33B 오픈 모델 Nanbeige4.3을 정답이 있는 한국어 문서 RAG 시험지(Allganize, 299문항)로 채점했습니다. 에이전트 코딩용 모델이지만, 한국어 환경에서 에이전트로 쓰려면 한국어 문서를 읽고 근거로 답하는 기초가 필요해서 그 부분만 쟀습니다. 모든 모델이 같은 검색 결과 5쪽, 같은 지시문, 같은 채점기를 씁니다.

정답률: 생각 켬 66.2%, 생각 끔 64.9%. 모델 카드가 비교한 qwen3.8 27B는 생각 켬 77.3%입니다. 같은 조건 점수는 gemma4 12B(66.6%), qwen3.5 9B(65.6%)와 비슷합니다.

처음 측정에서 생각 켬 29문항이 출력 한도 8,192토큰에 걸렸고, 그중 20개는 답이 비어 있었습니다. 이 29문항을 카드 권장 설정으로 다시 돌리면 70.6%가 되지만, 여전히 qwen3.8 27B보다 낮습니다(짝비교 6 대 26, p 0.001 미만). Claude Opus 5.5로 다시 채점해도 결론은 같았습니다.

생각 끔에서는 320개 중 92개가 출력 한도 1,024토큰에 잘렸습니다. 한도를 4,096으로 올려 다시 돌리니 92개 중 43개가 같은 문장을 계속 되풀이했고, 카드 권장 샘플링으로 바꿔도 나아지지 않았습니다.

공식 벤치마크에선 앞섰다고 한 분야는 에이전트 코딩과 업무 자동화이고 언어 표시는 영어, 중국어입니다. 공식 벤치마크 숫자가 틀렸다는 뜻이 아니라, 그 우위가 한국어 문서 질의응답까지 이어지지 않았다는 결과입니다.

RTX 3090에서 초당 약 38토큰, 문항당 약 18초(생각 끔)입니다.

한도에 걸린 답을 다시 잰 과정과, 그 뒤 측정 도구에 넣은 경고(잘림, 빈 답, 반복)도 적었습니다. 스크립트와 문항별 판정 파일을 공개합니다.

링크: https://bric.pe.kr/blog/nanbeige-4-3-33b-korean-rag-300-questions

AI 도움을 받아 정리했습니다.

Read Entire Article

피플앤툴즈 네트워크

🛍 샵

사진 · AI 스튜디오
운세
생활 정보
아이 · 공부
일자리 · 커뮤니티
음악 · 소리
명언 · 영감
- 명언 모음 Pearls of Wisdom
- 영화 명대사
온라인 도구
뉴스 모음

📺 유튜브 최신 영상

© 2026 PeopleNTools 운영 사이트 전체 보기 유튜브 채널 샵