‘DPU로 시작해 AI 인프라 전반으로 사업 확장’··· 권동업 망고부스트 CTO에게 듣다

“GPU가 AI 인프라의 중심이던 시절일 때 AI-NIC(네트워크 인터페이스 카드), DPU(데이터 처리 장치)의 핵심 역량은 여러 GPU가 동시에 학습을 수행할 때 발생하는 전체 데이터 병합(All-Reduce)과 결과 배포(Broadcast), 집계 통신(Collective Communication)을 얼마나 가속화하는가에 달려있었다. 하지만 장문맥과 다단계 추론을 반복하는 에이전틱 AI가 확산하면서 지금은 GPU, 네트워크로 연결된 대규모 공유 저장장치를 얼마나 가속할 수 있는지, CPU에 가해지는 부담을 얼마나 DPU로 잘 분산, 적재하는지가 새로운 경쟁의 축으로 부상하고 있다”에이전틱 AI와 장문맥 추론은 AI 인프라 시장에서 새로운 인터페이스 수요를 만들어내고 있다. 대형언어모델(LLM) 추론 작업은 단순한 요청 및 응답 중심이라면 AI 에이전트는 여러 차례 모델을 호출하고, 도구를 사용하며 과거 문맥을 다시 참조한다. 이에 따라 KV캐시(Key Value)가 GPU 메모리 내에만 저장되어 있기 어렵고 시스템 메모리와 저장 장치, 더 나아가 네트워크로 연결된 대규모 공유 저장장치까지 끌어다 써야 하는 판국이다. 권동업 망고부스트 최고기술책임자를 서울시 관악구 소재의 본사 사무실에서 만났다. 그가 손에 들고 있는 하드웨어가 망고부스트의 부스트X(BoostX) AI-NIC이다 / 출처=IT동아 이에 따라 엔비디아는 저장장치 계층을 GPU에 직접 연결되는 HBM 등을 G1, 시스템 메모리를 G2, SSD 등 저장 장치를 G3, 이더넷 연결 플래시 기반 콘텍스트, KV 캐시 계층을 G3.5, 공유 저장장치를 G4로 공식적으로 구분해서 분류하기 시작했고, AI 인프라 관련 시장도 이에 맞춰 재편되고 있다. 망고부스트 입장에서 이런 시장 흐름은 새로운 기회가 되고 있다.망고부스트는 2022년 DPU 기반의 AI 인프라 솔루션 기업으로 시작해 최근에는 GPU 서버, 스토리지, 소프트웨어 등 AI 인프라 전반에 관여하고 있으며, 특히 AMD의 주요 기술 파트너로서 시장의 성장에 발맞추고 있다. 권동업 망고부스트 최고기술책임자(CTO)를 만나 AI 인프라 시장 전반에 대한 시각과 회사의 전략에 대한 의견을 들어보았다.“인터페이스가 AI 병목 될거라는 시각에서 망고부스트 시작됐다”권동업 망고부스트 CTO는 과거 포항공과대학교 재학 시절부터 김장우 서울대 전기정보공학부 교수와 인연을 맺었고, 이후 고성능 컴퓨터 시스템 ...