Samsung의 메모리 내 연산(PIM)

LPDDR5X-PIM은 표준 메모리 컨트롤러와 호환되는 LPDDR5X-9600 칩의 16개 뱅크마다 MAC 연산 블록을 배치해, 외부 버스의 한계를 피하면서 메모리 내부에서 연산함 16개 PIM 블록은 합계 614GB/s의 내부 대역폭을 활용함. 일반 DRAM 접근의 최대 76.8GB/s보다 높지만, 패키지당 연산 성능은 4비트 가중치 기준 2.4TOPS에 그침 예약된 행 주소와 표준 DRAM 명령으로 단일·다중 뱅크 모드, 레지스터 접근, 연산 실행을 제어하며, 모든 뱅크가 명령·스케일·입력값을 공유하는 제한적인 SIMD 프로세서처럼 동작함 PIM 모드는 DRAM 명령의 의미를 바꾸므로 일반 메모리 접근과 병행하기 어렵고, 멀티스레딩·인터럽트·문맥 전환·캐시·프리페치·비순차 실행과 충돌해 전용 메모리 영역과 강한 동기화를 요구함 실용적인 도입에는 전용 연산 명령, 캐시 일관성에 참여하는 메모리 컨트롤러, PIM 사용 여부를 하드웨어가 선택할 수 있는 CPU 명령 등 메모리 시스템 전반의 변경이 필요함 DRAM 내부 대역폭을 연산에 활용 메모리 내 연산은 DRAM 칩의 높은 내부 대역폭을 활용하고, DRAM과 기존 연산 코어 사이의 긴 지연 경로를 피할 수 있음 Samsung은 Hot Chips 2026에서 LPDDR5X 칩 안에 MAC 유닛을 구현하면서도 표준 메모리 컨트롤러와 연결할 수 있는 PIM 설계를 공개함 일반 DRAM 칩은 각각 읽기·쓰기 로직을 가진 여러 뱅크로 나뉨 메모리 컨트롤러가 뱅크를 선택하고 행을 활성화한 뒤 CAS 명령으로 데이터에 접근함 모든 뱅크를 동시에 활성화해도 외부 DRAM 인터페이스 때문에 전체 내부 대역폭을 꺼내 쓰지 못함 LPDDR5X-PIM의 구성과 성능 LPDDR5X-PIM은 일반 LPDDR5X-9600처럼 16개 뱅크를 갖지만, 각 뱅크에 전용 PIM 블록을 배치함 각 블록은 외부 버스 제약 없이 연결된 DRAM 뱅크에 접근함 16개 뱅크 전체의 내부 대역폭은 614GB/s이며, 일반 DRAM 접근은 두 뱅크를 병렬로 사용해 최대 76.8GB/s를 냄 PIM 블록은 MAC 트리, 레지스터 파일, 제어 로직으로 구성됨 1,024비트 명령 레지스터 파일은 16비트 명령을 최대 64개 저장함 4Kbit 소스 레지스터 파일은 활성화 벡터를 담고 MAC 배열의 한쪽 피연산자를 공급함 다른 피연산자인 모델 가중치는 DRAM에 적재함 2Kbit 스케일 레지스터의 계수로 MAC 연...