LG유플러스, AI 토큰 최적화 기술 연구 나선다…효율 최대 4배 초기 성과

이상엽 LG유플러스 CTO(전무, 왼쪽)와 이재호 옵트에이아이 대표가 토큰 최적화 협력과 관련해 기념촬영을 하고 있다. LG유플러스가 AI 모델 최적화 기업 옵트에이아이와 AI 서비스 운영 효율을 높이는 ‘토큰 최적화’ 기술을 공동 연구한다고 2일 밝혔다.토큰은 AI가 이용자의 질문을 이해하고 답변을 생성할 때 처리하는 데이터의 기본 단위다. 토큰 최적화는 AI 모델을 가볍게 만들거나 연산 과정을 효율화해 같은 자원으로 더 많은 요청을 처리하게 하는 기술이다. AI 서비스가 확산하면서 GPU와 전력 등 운영 비용이 늘어, 같은 수준의 서비스를 더 적은 자원으로 제공하는 기술의 중요성이 커지고 있다.LG유플러스는 실제 AI 서비스 운영 경험을 바탕으로 기술 검증과 적용을 맡고, 옵트에이아이는 AI 모델을 더 가볍고 빠르게 구동하는 기술의 연구·개발을 담당하기로 했다. 양사는 GPU와 전력 사용량을 줄이면서 응답 속도와 서비스 품질을 높이는 것을 목표로 한다. 현재 진행 중인 GPU 기반 AI 모델 최적화 연구에선 AI 모델이 답변을 생성하는 연산 과정을 실제 서비스 환경에 맞게 개선해 같은 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 4배 높이는 등 초기 성과를 보이고 있다.양사는 온디바이스 AI 분야에서 먼저 협력했다. 지난해 9월 LG유플러스는 LG AI연구원, 옵트에이아이와 함께 LG AI연구원의 ‘엑사원 3.5’ 기반 온디바이스 소형언어모델(sLM)을 개발한 바 있다. 여기에 경량화 기술을 적용해 스마트폰의 AI 전용 반도체인 NPU에서 구동할 수 있도록 했고, 기존 CPU 방식과 같은 수준의 성능을 유지하면서 전력 소모는 78%, 모델 크기는 82% 줄였다.또한 양사는 전날 ‘Efficient AI 테크 세미나’를 공동 개최했다. 이 자리에는 AI 반도체 기업 퓨리오사AI, AI 플랫폼 기업 베슬에이아이, 한국전자기술연구원(KETI), 한양대 관계자 등이 참여해 AI 모델 최적화부터 AI 반도체, 실제 서비스 적용 사례까지 논의했다.양사는 이번 교류를 계기로 공동 연구 범위를 서버 GPU 환경까지 넓힌다. 대규모 AI 서비스를 운영할 때 같은 GPU 자원으로 더 많은 이용자 요청을 처리할 수 있도록 모델의 연산 과정을 효율화하는 기술을 중점적으로 연구할 계획이다.아울러 LG유플러스는 확보한 기술을 자사 AI 서비스와 대규모 AI 인프라 운영 환경에 단계적으로 적용할 방침이다.이상엽 LG유플러스 C...