지니젠AI, 오픈라우터 모델 426종 한국어 품질 평가 공개

330종 평가 결과 A등급 7.6%·F등급 33.6%… 한국어 품질 편차 커 높임말 정확도 8.5%, 한국 제도 지식 9.4%에 그쳐 비드래프트와 협업… 가격·속도에 한국어 품질 평가축 더해 지니젠AI가 공개한 오픈라우터 모델 한국어 품질 리더보드. 지니젠AI 제공 한국어 특화 AI 스타트업 지니젠AI(대표 최선영)는 17일 AI 모델 중개 플랫폼 오픈라우터(OpenRouter)에 등록된 모델 426종의 한국어 업무 품질을 자체 평가한 리더보드를 허깅페이스(Hugging Face)에 공개했다고 밝혔다. 이 리더보드는 오픈라우터가 제공하는 가격·속도·이용량 정보에 한국어 업무 품질 평가축을 더한 것이다. 오픈라우터는 앤트로픽, 구글, 오픈AI, xAI, 딥시크 등 여러 개발사의 AI 모델을 하나의 API로 연결하는 플랫폼이다. 알파벳 산하 캐피털G와 엔비디아의 엔벤처스 등이 참여해 1억1300만 달러 규모 시리즈B 투자를 유치했으며, 지난달 글로벌 결제기업 스트라이프에 인수되기로 합의했다. 지니젠AI에 따르면 426종 중 한국어 품질을 평가받은 모델은 330종, 응답 속도를 직접 측정한 모델은 329종이다. 평가는 높임말 정확도, 한국 제도 지식, 전문 용어 사용, 지시 형식 준수, 요약 정확도 등 7개 항목으로 이뤄졌다. 채점 모델을 블라인드 처리하는 절차를 거쳤다고 회사 측은 설명했다. 지니젠AI가 분석한 AI 모델 가격 대비 성능 그래프. 지니젠AI 제공 회사 측 설명에 따르면 문법적으로 자연스러운 문장에도 오류가 있었다. 높임말 정확도 상위 등급 비율은 8.5%, 연차·세금 등 한국 제도 지식 항목은 9.4%에 그쳤다. 종합 A등급 이상은 25종(7.6%), 최하위 F등급은 111종(33.6%)이었다. 이번 리더보드는 AI 모델 개발사 비드래프트(VIDRAFT)와 협력해 만들어졌다. 비드래프트는 허깅페이스 공개 모델의 다운로드 수를 집계하는 별도 리더보드를 운영한다. 최선영 대표는 “비드래프트 모델은 오픈라우터 미등재로 평가 대상이 아니며, 향후 등재될 경우 동일 기준을 적용한다”고 말했다. 지니젠AI는 월간 활성 사용자 약 100만 명 규모의 AI 서비스 플랫폼을 운영하며 B2B 영상 자동화 솔루션과 B2C 창작 서비스를 제공한다고 밝혔다. 다만 이를 포함한 회사의 매출 규모, 직원 수, 투자 유치 이력 등은 외부에서 확인되지 않았다. 최용석 기자 duck8@donga.com© dongA.com All ...