질문에 딱 맞는 AI 골라 답변 제공…KT ‘토큰팩토리’ 공개

박상원 KT AX사업부문장이 27일 서울 종로구 KT광화문빌딩 웨스트에서 열린 기자간담회에서 인공지능(AI) 플랫폼 ‘토큰팩토리’를 비롯한 KT의 AI 사업 전략을 발표하고 있다. KT 제공 “연봉 4200만 원인 32세 직장인이야. 60세 은퇴를 목표로 주택 마련과 노후 준비 계획을 짜줘.” 인공지능(AI)에 같은 질문을 입력했지만 답변은 달랐다. 품질을 우선으로 하자 KT의 고성능 모델 ‘믿음 K 3.0 프로’는 주식과 채권, 연금 등의 투자 비중을 표로 정리하고 실행 순서를 제시했다. 반면 비용을 우선하자 오픈AI의 가성비 모델 ‘GPT-OSS’가 투자 방법을 간략한 줄글로 설명했다. 이용자가 원하는 답변 수준과 비용에 맞춰 AI 모델을 자동으로 골라준 것이다.KT는 27일 서울 종로구 KT광화문빌딩 웨스트에서 기자간담회를 열고 이 같은 기능을 갖춘 AI 플랫폼 ‘토큰팩토리’를 공개했다. 국내외 여러 AI 모델을 한곳에서 이용하고 토큰 사용량과 비용을 관리할 수 있는 서비스다. 토큰은 AI가 질문을 이해하고 답변을 만드는 데 처리하는 데이터의 기본 단위로, 사용량에 따라 비용이 부과된다. KT는 통신사업에서 쌓은 과금 노하우와 데이터센터 운영 역량을 앞세워 AI 모델을 직접 서비스하고 다른 기업의 모델까지 유통하는 AI 토큰 시장 선점에 나섰다.KT는 글로벌 AI 모델 유통 플랫폼 ‘오픈라우터’와 국내 최초로 공식 협약을 맺고 500개 이상의 AI 모델을 확보했다. 자체 개발한 ‘오토 모델 라우터’는 질문의 난이도와 비용 등을 따져 적합한 AI 모델을 자동으로 골라준다. 사용자가 입력하는 프롬프트(명령어)에서 불필요한 표현을 덜어내 토큰 사용량을 줄이는 기술도 적용했다. 예를 들어 ‘다음 주 출장인데 월요일 오전 서울에서 부산으로 가는 KTX 열차를 찾아줘’라는 문장을 ‘다음 주 월요일 오전 서울 부산 KTX’로 압축해 AI가 처리할 데이터 양을 줄인다. 김준석 KT AX미래기술원 에이전틱AI랩장은 “프롬프트 압축으로 비용을 약 20%, 모델 라우팅으로 약 5%의 줄여 최대 25%의(토큰 사용료) 절감 효과를 확인했다”고 말했다.KT는 30일 기업 고객을 대상으로 AI 모델 73종을 제공하며 토큰팩토리 서비스를 시작한다. 이 가운데 KT의 ‘믿음 K 3.0 프로’, 업스테이지의 ‘솔라 프로4’ 등 국내 모델 3종과 해외 오픈웨이트 모델 4종은 KT의 국내 데이터센터에서 질문을 처리하고 답변을 생성한다. 이...