Qualcomm Cloud AI 100 Ultra - 128GB 메모리와 548GB/s 대역폭을 갖춘 150W AI 가속기 카드

Cloud AI 100 Ultra는 생성형 AI와 대규모 언어 모델(LLM)을 위해 설계된 추론 카드로, 대규모 배포에 필요한 성능과 전력 효율, 비용 최적화를 목표로 함 TDP 150W에서 ECC 지원 128GB 메모리와 548GB/s 메모리 대역폭을 제공함 카드당 AI 코어 64개와 최대 576MB 온다이 SRAM을 갖추며, 최대 연산 성능은 INT8 870 TOPS, FP16 288 TFLOPS임 다양한 워크로드와 가속 기법을 프로그래밍할 수 있으며, 컴퓨터 비전과 자연어 처리부터 Transformer 기반 LLM까지 대상으로 함 PCIe Gen4 16레인으로 호스트에 연결되며, 카드 규격은 111.2 × 237.9mm의 PCIe FH3/4L임 생성형 AI와 LLM을 위한 추론 카드 Cloud AI 100 Ultra는 Qualcomm의 클라우드 AI 추론 카드 제품군에 속하며, 생성형 AI와 LLM을 위한 성능 및 비용 최적화를 목표로 설계됨 다양한 워크로드와 가속 기법을 프로그래밍할 수 있어, 기존 AI와 생성형 AI 워크로드의 확장을 지원함 대상에는 컴퓨터 비전, 자연어 처리, Transformer 기반 LLM이 포함됨 Cloud AI 100 Ultra 제품 소개서에서 제품 정보를 확인할 수 있음 카드 사양과 제품군 비교 AI 100 Ultra는 카드당 AI 코어 64개, SRAM 576MB, ECC 지원 LPR4x DRAM 128GB를 갖춤 TDP는 150W, 최대 연산 성능은 INT8 870 TOPS와 FP16 288 TFLOPS임 DRAM 대역폭은 548GB/s이며, 호스트 인터페이스는 PCIe Gen4 16레인임 PCIe FH3/4L 폼팩터로 크기는 111.2 × 237.9mm임 AI 80 Ultra는 AI 100 Ultra와 같은 폼팩터, TDP, SRAM 및 DRAM 용량, 메모리 대역폭, 호스트 인터페이스를 사용함 최대 성능은 INT8 618 TOPS와 FP16 222 TFLOPS이며, SoC당 수치는 각각 155 TOPS와 56 TFLOPS임 AI 100 Pro, AI 100 Standard, AI 80 Standard는 68.9 × 169.5mm의 PCIe HHHL 카드이며, TDP 75W, DRAM 대역폭 137GB/s, PCIe Gen4 8레인을 공통으로 갖춤 AI 100 Pro는 최대 INT8 400 TOPS와 FP16 200 TFLOPS, SRAM 144MB, ECC 지원 LPR...