크래프톤, 음성 AI 파운데이션 모델 한국어 종합 1위 차지

크래프톤 크래프톤의 음성 AI 파운데이션 모델 ‘A.X K2 Raon-Speech’가 음성 언어 모델 중 한국어 종합 1위, 영어 종합 성능 3위를 기록했다. <자료제공=크래프톤> 크래프톤(대표 김창한)의 음성 AI 파운데이션 모델 ‘A.X K2 Raon-Speech’가 음성 언어 모델 중 한국어 종합 1위를 차지했다. 영어 종합 성능은 3위를 기록했다.‘A.X K2 Raon-Speech’는 크래프톤이 ‘독자 AI 파운데이션 모델’ 프로젝트의 SK텔레콤 정예팀에 참여, 차세대 멀티 모달 모델 연구의 2차수 성과 중 하나로 공개된 음성 언어 모델이다.크래프톤 관계자는 “‘A.X K2 Raon-Speech’가 21B 파라미터 규모로 30B 이하급 공개 음성 언어 모델 중 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다”고 말했다.이번 평가는 음성 인식, 음성 합성, 음성 이해, 음성 질의응답, 텍스트 질의응답, 도구 호출 등 총 6개 영역에서 진행했다. LibriSpeech, KSponSpeech, VoiceBench, KVoiceBench, MMAU, KMMAU, API-Bank, FunctionChat-Bench 등을 포함해 한국어 24개, 영어 22개 등 총 46개의 벤치마크를 활용했다.크래프톤은 사람의 목소리를 AI가 이해할 수 있는 정보로 변환하는 음성 인코더와 AI가 생성한 정보를 자연스러운 음성으로 복원하는 음성 코덱을 자체 학습했다.언어 모델의 텍스트 역량을 유지하면서 음성 입력과 출력을 안정적으로 연결하는 학습 방식을 개발해 적용했다.‘A.X K2 Raon-Speech’는 사용자 목소리에 담긴 정보들을 활용해 자연스러운 음성 답변을 생성할 수 있는 모델이다.크래프톤은 이번 연구를 통해 축적한 음성 AI 역량을 이용자와 함께 플레이하는 AI 캐릭터인 CPC(Co-Playable Character) 고도화에 활용할 계획이다.CPC가 이용자의 목소리와 의도를 이해하고 게임 상황에 맞는 음성으로 반응하는 등 이용자와 AI가 보다 자연스럽게 상호작용하는 게임 경험을 구현해 나갈 예정이다.크래프톤은 지난 4월 AI 모델 브랜드 ‘Raon(라온)’을 출범하고 음성 언어 모델(Raon-Speech), 실시간 음성 대화 모델(Raon-SpeechChat), 텍스트-음성 변환 모델(Raon-OpenTTS), 비전 인코더(Raon-VisionEncoder) 등 4종의 AI 모델을 오픈소스로 공개했다...