Meta, 맞춤형 CXL 브리지 칩으로 구형 RAM을 새 서버에서 재사용

• Meta는 버려질 수 있는 DDR4 메모리를 새 DDR5 서버에 붙여, 일부 분리형 추론 워크로드에서 필요한 서버 수를 최대 25% 줄임
• 서버 플릿의 약 40%는 메모리 증설이 불가능한 반면, 메모리는 서버보다 오래 쓸 수 있어 DIMM 재활용이 비용 절감 수단이 됨
• 자체 ASIC Vistara는 DDR4를 CXL 2.0/1.1 호환 PCIe Gen5 x16 인터페이스로 연결해, 기존 CXL 장비의 DDR4 재사용 한계를 우회함
• Vistara 기반 MemServer는 AMD Turin, 768GB DDR5, 256GB DDR4를 결합하고 DDR4를 OS에 CPU 없는 별도 NUMA 노드로 노출함
• CXL 확장 메모리는 OOM으로 인한 작업 실패와 재시작, 리소스 단편화 오버헤드를 33% 줄여 대규모 인프라 운영 부담을 낮춤

DDR4를 다시 쓰게 된 배경

• Meta는 구형 서버에서 회수한 DDR4 DIMM을 새 서버에 장착해 공유 가능한 메모리 풀로 구성함
• 서버 플릿 중 약 40%는 메모리 증설이 불가능해 일부 워크로드를 처리하기 어려움
• 서버 기대 수명은 3~5년인 반면, 메모리는 7~10년 동안 유용하게 쓸 수 있음
• 이 수명 차이 때문에 오래된 서버의 메모리를 새 시스템에서 재사용하는 방식이 인프라 효율화 수단이 됨
• 증설 불가 서버 비중: {p:40}

CXL 도입의 제약과 Vistara의 역할

• CXL은 여러 호스트 사이에서 메모리 공유를 가능하게 하지만, 프로덕션 환경에서는 낮은 대역폭, 높은 지연, 추가 메모리 계층 관리 오버헤드가 부담이 될 수 있음
• 서로 다른 메모리 기술을 한 시스템에 결합할 때 이런 제약이 더 두드러질 수 있음
• Meta는 단일 머신 안에서 여러 메모리 유형을 섞으려 했지만, 기성 CXL 장비는 요구사항과 맞지 않았음
  • 대부분의 CXL 솔루션은 DRAM과 컨트롤러를 함께 묶어 DIMM 재사용을 어렵게 함
  • DDR4 지원이 빠진 경우가 많아 오래된 메모리 재활용에 맞지 않음
  • 전력 소비와 비용도 도입 매력을 낮춤
• 이 공백을 메우기 위해 Meta는 맞춤형 ASIC Vistara를 개발함

Vistara ASIC 구성

• Vistara는 DDR4 메모리를 호스트 프로세서에 연결하는 CXL 브리지 역할을 함
• 핵심 인터페이스는 CXL 2.0/1.1 호환 PCIe Gen5 x16임
• 각 Vistara ASIC은 다음 구성을 가짐
  • 독립적인 72비트 DDR4 메모리 채널 2개
  • 최대 3,200 MT/s 속도 지원
  • 64GB DIMM 사용 시 칩당 최대 256GB 지원
• ASIC 구동에는 맞춤형 RISC-V 프로세서 2개가 사용됨

MemServer 하드웨어와 소프트웨어

• Vistara 하드웨어는 Meta가 MemServer라고 부르는 장치에 들어감
• 각 MemServer는 다음 요소를 결합함
  • AMD Turin 프로세서
  • 158코어, 316스레드
  • 768GB DDR5 메모리
  • Vistara ASIC으로 연결된 256GB DDR4
• Vistara CXL 카드는 MemServer 섀시 안의 후면 접근 전용 슬롯에 설치됨
• 고밀도 메모리와 CXL 장치의 열부하를 처리하기 위해 섀시는 고용량 팬과 지향성 공기 흐름으로 Vistara 모듈에 냉각 공기를 직접 보냄
• 소프트웨어 측면에서 DDR4는 OS에 CPU 없는 별도 NUMA 노드로 표시되며, 프로세서에 직접 연결된 로컬 DRAM 노드와 분리됨
• Meta 플랫폼은 사용 가능한 로컬 DDR4를 먼저 쓰고, 필요할 때 CXL 기반 메모리를 사용함
• Vistara에 쓰이는 Linux CXL 드라이버 코드는 업스트림 커널에 이미 있거나 업스트림 포함 절차가 진행 중임

프로덕션 적용과 운영 효과

• Meta는 Vistara 기반 CXL 구성을 수백만 대 서버 규모의 하이퍼스케일 인프라에 적용함
• 적용 워크로드에는 다음이 포함됨
  • 추천 시스템의 임베딩 테이블을 포함한 분리형 ML 추론
  • 빅데이터 처리
  • 데이터베이스
  • 분산 캐시
  • CI/CD 빌드 시스템
• Spark와 Hive 같은 빅데이터 도구는 테라바이트·페타바이트 규모 데이터셋을 다루며, 작업당 수백 GB 메모리를 필요로 할 수 있음
• 이런 워크로드에서 OOM 이벤트가 발생하면 핵심 비즈니스 분석과 ML 파이프라인이 중단될 수 있음
• CXL로 확장된 메모리 여유는 OOM 위험을 줄여 작업 실패, 작업 재시작, 리소스 단편화 관련 오버헤드를 33% 감소시킴
• 분리형 추론에서는 서버 수를 최대 25% 줄이는 효과가 나타남
• Meta는 높은 메모리 가격을 피하는 효과도 얻고 있음
• 운영 오버헤드 감소: {p:33}
• 분리형 추론 서버 수 절감: {p:25}