엔비디아, LPDDR5X 기반 128GB 램의 개인용 AI 슈퍼 컴퓨터 DIGITS 공개

엔비디아, LPDDR5X 기반 128GB 램의 개인용 AI 슈퍼 컴퓨터 DIGITS 공개

• 엔비디아가 25년 1월 7일 (현지 시간) 라스베가스에서 개최된 CES에서 128GB 램의 개인용 AI 슈퍼 컴퓨터 DIGITS를 공개
• DIGITS 는 엔비디아의 새로운 NVIDIA GB10 Grace Blackwell 슈퍼칩을 탑재
• 모든 데이터 사이언티스트, AI 연구원, 학생의 책상에 AI 슈퍼컴퓨터를 배치함으로써 이들이 AI 시대에 참여하게 하는 것이 엔비디아의 목표

엔비디아의 새로운 슈퍼칩 GB10 의 성능

• GB10 슈퍼칩은 NVIDIA Grace Blackwell 아키텍처 기반의 '시스템 온 칩' (SoC) 으로, FP4 정밀도 기준 최대 1페타플롭 ( PetaFlop, 10¹⁵/s, 초당 1,000조 번 ) 의 연산 능력 제공
• GB10은 최신 세대 CUDA® 코어와 5세대 Tensor 코어를 갖춘 NVIDIA Blackwell GPU를 탑재
• NVLink®-C2C 칩-투-칩 인터커넥트를 통해 Arm 아키텍쳐 기반의 20개의 코어를 지닌 CPU와 연결
• Arm 기반 SoC 설계 분야 시장 리더인 미디어텍(MediaTek)이 GB10 설계에 협력

개인용 AI 슈퍼 컴퓨터 DIGITS 의 대략적인 스펙

• DIGITS 는 128GB의 통합, 일관된 메모리(unified, coherent memory)와 최대 4TB의 NVMe 스토리지를 탑재
• 여기서 통합, 일관된 메모리는 GPU의 VRAM 과는 다른 개념으로, DIGITS는 LPDDR5X 칩을 사용해 128GB의 메모리를 구성
• 최대 200B (2천억) 파라미터의 LLM 을 실행할 수 있음
• NVIDIA ConnectX® 네트워킹을 통해 두 대의 DIGITS AI 슈퍼컴퓨터를 연결해 최대 405B 파라미터의 LLM 을 실행할 수도 있음

출시 예정일 및 가격

• DIGITS 는 엔비디아의 탑 파트너들을 통해 올해 5월부터 $3000 ( 25-01-08 환율 기준 437만원 ) 부터 구매 가능

DIGITS 의 메모리 대역폭 (속도) 추정치

• 메모리 대역폭은 GPU의 속도를 추정하는데 사용되는 대표적인 지표
• 메모리 대역폭 등 DIGITS의 상세 스펙은 아직 공개되지 않음
• 한 기사에서는 엔비디아가 공개한 이미지에 따르면, DIGITS에는 6개의 LPDDR5X 모듈이 탑재된 것으로 보이며 이를 기반으로 825GB/s 으로 메모리 대역폭을 추정하고 있음.
• 이는 RTX 3060의 360GB/s 에 비해 2.3배 빠르며, RTX 4090의 1008GB/s 에 비해 0.8배 느린 속도로 128GB의 램을 가졌음을 고려했을 때 상당히 준수한 성능임
• 하지만 이는 어디까지나 개인의 명확하지 않은 추정치일 뿐이며 자세한 성능은 상세 스펙이 공개되어야 알 수 있음