‘TPU v5e’ 대비 컴퓨팅 성능 4.7배·추론처리량 3배 증가
트릴리움 기반 슈퍼컴퓨터 ‘AI 하이퍼컴퓨터’ 발표
모한 피치카 구글 클라우드 그룹 프로덕트 매니저는 16일 ‘Let’s Talk AI:구글 클라우드 트릴리움 교육 세션‘을 열고 ’머신러닝 가속기‘ 트릴리움(Trillium)을 소개하며 이같이 말했다.
피치카 매니저는 “TPU는 10년 전 음성 인식 기능 도입을 계기로 개발 시작한 특정용도집적회로(ASIC)로 행렬 곱셈(Matrix multiplication) 등 AI 관련 연산을 매우 빠르게 처리한다”며 “성능을 크게 높인 6세대 트릴리움을 정식 출시하고 고객사들에게 제공하고 있다”고 말했다.이어 “트릴리움은 이전 세대(TPU v5e)보다 칩당 최대 컴퓨팅 성능이 4.7배 향상됐고, 광대역 메모리(HBM) 용량은 2배, 추론 처리량 최대 3배 각각 증가했다”며 “현재 구글 검색, 유튜브 등 주요 서비스와 제미나이 2.0 학습, AlphaFold 등 첨단 AI 모델에 활용되고 있다”고 설명했다.
구글 클라우드는 트릴리움 기반 슈퍼컴퓨터인 ’AI 하이퍼컴퓨터‘(AI Hypercomputer)도 발표했다.
피치카 매니저는 “AI 하이퍼컴퓨터는 TPU를 포함한 통합 AI 인프라 시스템”이라며 “하드웨어·소프트웨어·소비 모델 등 3개 레이어로 구성해 AI 관련 업무를 최적화하고 적합한 결과를 빠르게 도출해 준다”고 전했다.
그는 트릴리움과 엔비디아 GPU ’H100‘ 간 차이점을 묻자 “칩과 소프트웨어 스택이 서로 달라 단순 비교하기 어렵다”면서 “트릴리움은 뉴럴 네트워크 연산에 특화된 구조로 동일 코어 대비 행렬 곱셈과 같은 AI 핵심 작업에서 높은 효율을 내기 때문에 와트당 성능에서 경쟁력이 있다”고 했다.
(서울=뉴스1)- 좋아요 0개
- 슬퍼요 0개
- 화나요 0개