“AI 추론 비용 최대 70% 낮춘다”…KAIST 교수 창업기업에 더벤처스 투자

벤처캐피털 더벤처스가 그래픽처리장치(GPU)와 신경망처리장치(NPU) 등 서로 다른 인공지능(AI) 반도체를 함께 활용해 AI 추론 비용을 낮추는 기술을 개발하는 애니브릿지에 투자했다. 애니브릿지는 GPU 중심의 기존 인프라와 비교해 추론 비용을 40~70% 절감하는 것을 목표로 하고 있다.더벤처스(대표 김철우)는 AI 인프라 소프트웨어 스타트업 애니브릿지(대표 박종세)에 시드 투자를 완료했다고 22일 밝혔다. 투자 금액은 공개하지 않았다. 애니브릿지는 더벤처스의 추천을 받아 중소벤처기업부의 기술창업 지원 프로그램인 팁스(TIPS)에도 선정됐으며, 지난 21일 협약을 체결했다.애니브릿지는 한국과학기술원(KAIST) 전산학부 박종세·권영진 교수가 공동 창업한 기업이다. AI 반도체 기업 삼바노바 공동창업자인 쿤레 올루코툰 미국 스탠퍼드대 교수가 자문에 참여하고 있으며, KAIST 출신 엔지니어들이 기술 개발을 주도하고 있다.AI 추론은 학습을 마친 AI 모델이 이용자의 질문이나 요청에 답하는 과정이다. 생성형 AI 서비스의 이용량이 늘수록 추론에 필요한 반도체와 전력, 서버 운영 비용도 증가한다. 특히 대규모언어모델(LLM)을 상시 운영하는 기업에는 모델 개발 비용뿐 아니라 이용자 요청 한 건을 처리하는 데 드는 비용도 중요한 과제가 되고 있다. 애니브릿지(AnyBridge) 기술모식도. KAIST 애니브릿지는 GPU와 NPU, 지능형 메모리 반도체(PIM) 등 서로 다른 가속기를 통합적으로 활용하는 ‘멀티 가속기 런타임’ 소프트웨어를 개발하고 있다. AI 모델의 크기와 응답 속도, 비용 등을 고려해 작업에 적합한 반도체를 자동으로 배정하는 방식이다.GPU는 다양한 연산을 처리할 수 있는 반면, NPU는 AI 연산에 특화된 반도체다. PIM은 메모리 내부에서 연산을 수행해 데이터 이동에 따른 부담을 줄이는 기술이다. 서로 다른 반도체의 특성을 활용하면 작업에 따라 비용과 전력 사용을 최적화할 여지가 있지만, 이를 하나의 서비스 환경에서 효율적으로 운영하려면 통합 소프트웨어가 필요하다.애니브릿지는 이러한 기술을 통해 GPU만 사용하는 인프라보다 AI 추론 비용을 40~70% 낮추는 것을 목표로 한다. 오픈AI, 구글 제미나이, 앤트로픽 클로드의 응용프로그램 인터페이스(API)와 호환되도록 설계해 기업이 기존 개발 방식을 크게 바꾸지 않고 도입할 수 있도록 할 계획이다.기술 기반은 박종세 대표 연구팀이 오픈소스로 공...