GPU, 비싸도 모든작업 처리 '만능'…TPU, AI 특화된 '가성비칩'

“GPU는 모든 작업을 무난하게 처리하는 만능 로봇이고, TPU는 AI만 빠르게 처리하도록 설계된 특수 기계다” 이종호 서울대 전기정보공학부 교수의 설명이다. GPU는 게임그래픽처리용 칩으로 개발됐지만, 많은 계산을 한꺼번에 처리할 수 있는 특성 덕분에 AI 시대의 가장 중요한 부품으로 자리 잡았다. 이미지 생성, 영상 처리, 대규모 언어모델 학습까지 못 하는 계산이 없는 데다 동시 연산이 가능해 ‘만능 칩’으로 불린다. GPU를 이용해 AI·과학 연산을 빠르게 돌릴 수 있도록 만든 전용 프로그래밍 소프트웨어(SW) 플랫폼 ‘쿠다(CUDA)’를 무기로 엔비디아는 테크 생태계 전반을 독점하는 구조를 구축했다. 글로벌 AI 기업 대부분이 엔비디아에 의존할 수 밖에 없는 배경이다.

이에 비해 TPU는 특정 업무만 빠르게 처리하도록 만든 전용 칩에 가깝다. 공장에서 하나의 작업을 효율적으로 수행하는 특수 기계에 비유할 수 있다. 이 교수는 “딥러닝의 핵심인 행렬 계산에 최적화됐기 때문에 TPU가 GPU보다 높은 에너지 효율과 처리량을 보이는 사례가 적지 않다”고 설명했다. 다만 특정 기능에 특화된 만큼 GPU처럼 범용적으로 쓰기는 어렵다.

그럼에도 구글, 메타, 아마존 등 빅테크가 ‘脫 엔비디아’를 시도하는 가장 큰 이유는 비용이다. 최신 GPU 가격이 중형 세단 한 대 값에 육박하는 수준까지 가파르게 오르면서 AI 모델을 돌리는 비용이 기업의 실적을 좌우할 정도로 커졌다. 기술 종속 우려도 빅테크들의 리스크로 떠올랐다. 쿠다 생태계에 갇히면 데이터센터 운영과 AI 전략 측면에서 자율성을 확보하기 어렵다.

엔지니어 사이에선 성능 차별화 문제도 제기되고 있는 상황이다. 모두가 같은 GPU를 쓸 경우 서비스 속도나 품질에서 우위를 확보하기 어렵다는 판단이 기술자들 사이에서 나오기 시작한 것이다. 업계에선 향후 2~3년 내 AI 칩 패권의 향방이 갈릴 것으로 보고 있다.

강경주 기자 qurasoha@hankyung.com