Google, 8세대 TPU에 기밀 추론용 8tx와 긴 컨텍스트용 8i Max 추가

Google이 8세대 TPU에 TPU 8tx와 TPU 8i Max를 추가해, 대규모 학습부터 저지연 추론, 기밀 컴퓨팅, 대규모 컨텍스트까지 담당하는 네 가지 시스템을 구성함 기존 TPU 칩을 바탕으로 패키징, 메모리, 네트워크, 보안 구성을 바꿔 용도별 시스템을 만듦. Google은 이 방식으로 특화 시스템을 수년 대신 수개월 안에 내놓을 수 있다고 봄 TPU 8tx는 사용 중인 민감 데이터와 모델 가중치까지 하드웨어 수준에서 보호하며, TPU 8t 대비 지연 시간을 최대 절반으로 줄이고 같은 시스템에서 비공개 미세 조정과 에이전트 실행을 지원함 TPU 8i Max는 TPU 8i 칩 두 개를 단일 패키지에 결합해 연산 성능, SRAM, HBM 대역폭을 각각 2배로 늘리고, 대규모 컨텍스트 처리와 랙당 연산 밀도를 높임 TorchTPU로 기존 PyTorch 코드와 Hugging Face 모델을 재작성 없이 TPU에서 실행할 수 있으며, vLLM과 SGLang도 TPU 백엔드를 제공함. 새로 공개한 TPU Sync는 긴 컨텍스트의 KV 캐시를 칩 밖 메모리와 스토리지로 옮겨 칩 메모리 부담을 줄임 8세대 TPU를 네 가지 시스템으로 확장 TPU는 10여 년 전 Google 내부의 음성 인식과 언어 번역 수요에서 출발했으며, 현재 Gemini 학습과 서비스, 에이전트 워크로드, Google Cloud 서비스, 고객 자체 데이터센터 배치까지 사용 범위가 넓어짐 고객은 선도 AI 연구소, 트레이딩 기업, 유통업체, 대학 등을 포함해 약 100곳에 이름 4월 Google Cloud Next에서 공개한 TPU 8t와 TPU 8i는 각각 이전 세대 대비 최대 2.7배의 학습 성능, 80% 향상된 추론 가격 대비 성능을 제공함 이번에 TPU 8tx와 TPU 8i Max를 추가하면서 처음으로 한 해에 TPU 시스템 네 가지를 선보임 TPU 8t는 대규모 기반 모델 학습용으로, 사용 전력당 유용한 지능 산출량을 뜻하는 ‘goodput’ 극대화를 목표로 설계됨 TPU 8i는 메모리 병목을 완화하는 추론용 시스템으로, 칩 간 통신 지연을 최대 절반으로 줄임 TPU 8tx는 기밀 컴퓨팅, TPU 8i Max는 대규모 컨텍스트와 높은 랙당 연산 밀도에 초점을 맞춤 Google DeepMind와의 공동 설계에 더해 외부 조직의 요구를 점점 더 반영하고 있음 기업은 거대한 컨텍스트를 대상으로 추론하는 가속기를, 일부 규제 산업 고객은 특수...