Tencent, 오픈소스 모델 Hy3 공개

1 hour ago 1

비슷한 크기 모델보다 높은 성능을 목표로 하며, 2~5배 많은 파라미터를 가진 플래그십 오픈소스 모델과도 경쟁 가능한 수준
270명 전문가의 실제 업무 기반 블라인드 평가에서 Hy3는 2.67/4로 GLM-5.1의 2.51/4를 앞섰고, 프론트엔드 개발·데이터 및 스토리지·CI/CD에서 차이가 컸음
제품 피드백 기반 개선으로 환각률은 12.5%→5.4%, 상식 오류율은 25.4%→12.7%, 내부 다회전 테스트 이슈율은 17.4%→7.9%로 낮아짐
Apache 2.0 라이선스로 GitHub, HuggingFace, ModelScope, AtomGit에 공개됐으며, API 가격은 100만 토큰당 입력 1 RMB·출력 4 RMB·캐시 입력 0.25 RMB임
Tencent는 4월 말 Hy3 preview 이후 50개 이상 제품의 피드백과 고품질 후훈련 데이터를 반영해 정식 Hy3를 공개

Hy3 공개와 에이전트 성능

Tencent는 4월 말 Hy3 preview 출시 뒤 50개 이상 제품에서 피드백을 모았고, 더 높은 품질의 데이터로 후훈련을 확장해 Hy3를 공개함
새 모델은 비슷한 크기의 모델보다 높은 성능을 내고, 2~5배 파라미터를 가진 플래그십 오픈소스 모델과 경쟁 가능한 수준으로 평가됨
preview 이후 후훈련 데이터의 품질과 다양성을 높이고 RL 훈련을 확장함
- 추론, 에이전트형 작업, 긴 컨텍스트 작업에서 개선됨
- 더 큰 플래그십 모델들과 경쟁 가능한 수준을 목표로 함
생산성 작업에서는 코딩, 오피스 업무, 금융 모델링, 프론트엔드 디자인, 게임 개발에서 진전이 있음
- 270명 전문가가 실제 업무 과제를 사용한 블라인드 평가에서 Hy3는 2.67/4를 기록함
- GLM-5.1은 2.51/4를 기록함
- Hy3의 우위는 프론트엔드 개발, 데이터 및 스토리지, CI/CD 작업에서 가장 컸음

제품 신뢰성, 비용, 공개 방식

벤치마크만으로 모델 유용성을 충분히 포착하기 어렵다고 보고, 실제 제품 피드백을 바탕으로 여러 문제를 고침
도구 호출과 출력 형식 안정성을 개선함
- 도구 설정과 출력 제약 전반에서 프로덕션 수준 기준에 맞추기 위해 기본 신뢰성 문제를 수정함
- 도구 호출 오류 복구와 전반적 효율이 나아짐
- CodeBuddy, Cline, KiloCode 같은 서로 다른 에이전트 스캐폴딩에서 SWE-Bench Verified 정확도 변동폭이 4% 이내로 유지됨
지식과 환각 방지를 강화함
- 근거가 있을 때 답하고, 증거가 없으면 없다고 말하며, 출처를 섞거나 데이터를 조작하지 않는 기준으로 데이터 정제와 훈련 제약을 적용함
- 내부 실제 시나리오 평가에서 환각률은 12.5%에서 5.4%로 낮아짐
- 상식 오류율은 25.4%에서 12.7%로 낮아짐
- 사실 혼동, 조작, 논리적 모순이 줄어듦
복잡한 컨텍스트 유지와 다회전 의도 추적을 개선함
- SFT와 RL의 공동 최적화로 지시 대상 해석, 생략 복원, 다회전 제약 상속 같은 운영상 문제를 다룸
- 내부 종합 다회전 테스트의 이슈율은 17.4%에서 7.9%로 낮아짐
- MRCR 같은 긴 대화 평가에서도 개선됨
- 긴 상호작용에서도 복잡한 의도가 약해지거나 드리프트되지 않도록 하면서 출력은 더 간결해짐
WorkBuddy 내부 테스트에서 Hy3는 preview 대비 작업 성공률과 완료 시간을 개선함
- 작업 성공률은 Hy3 preview의 72%에서 Hy3의 90%로 상승함
- 평균 완료 시간은 34% 줄어듦
- 데이터 처리, 문서 작업, 리서치 보고서 분석에서 개선됨
GLM-5.2와 비교한 일부 일반 작업에서 Hy3의 토큰 효율이 높았음
- 문서 처리에서 47.4% 적은 토큰을 사용함
- 프레젠테이션 생성에서 49% 적은 토큰을 사용함
Hy3는 Apache 2.0 라이선스로 공개됨
- GitHub
- HuggingFace
- ModelScope
- AtomGit
하드웨어-소프트웨어 공동 최적화로 API 가격을 낮춤
- 100만 토큰당 입력: 1 RMB
- 100만 토큰당 출력: 4 RMB
- 100만 토큰당 캐시 입력: 0.25 RMB
Tencent는 1월 말 인프라 재구축, 4월 Hy3 preview, 이번 Hy3 공개와 제품 배포까지 6개월 안에 엔드투엔드 모델 개발 루프를 거침
앞으로 훈련 확장, 데이터 품질 개선, 사용자 경험 세부 최적화를 계속할 계획임