AMD Ryzen AI Halo, $4000(약 600만원) AI 개발 키트

1 day ago 9

로컬 AI 개발 환경을 직접 맞추는 부담을 줄이기 위해, Ryzen AI Halo는 Ryzen AI Max+ 395 미니 PC에 ROCm·드라이버·모델·개발 도구를 묶어 제공함
단일 구성은 16코어/32스레드 Zen 5 CPU, Radeon 8060S 내장 GPU, XDNA 2 NPU, 128GB LPDDR5x-8000 통합 메모리, 2TB SSD로 구성되며 가격은 $3,999.99 USD
llama-bench에서는 Apple Silicon Mac Studio가 Ryzen AI Max+ 395 장비보다 앞섰고, 특히 토큰 생성은 메모리 대역폭 차이 때문에 Gemma 4에서 2~3배 높은 성능을 보임
Halo의 차별점은 새 프로세서가 아니라 AMD Ryzen AI Developer Center, Best Known Configurations, AMD AI Playbooks처럼 호환성이 맞춰진 출발점을 제공한다는 데 있음
AMD Lemonade와 FastFlowLM으로 XDNA 2 NPU에서 gpt-oss-20b-FLM을 실행했으며, CPU/GPU 사용률이 거의 없는 상태에서 최대 35W와 20 tokens/s 생성을 확인함

Ryzen AI Max+ 395 기반 미니 AI 개발 키트

AMD Ryzen AI Halo는 Zen 5 기반 AMD Ryzen AI Max+ 395 프로세서를 중심으로 만든 소형 PC로, ROCm 또는 AMD 하드웨어 기반 AI 개발 학습을 쉽게 시작하도록 설계됨
프로세서는 16코어/32스레드 구성이며, 대부분의 AI 작업은 Radeon 8060S 통합 그래픽이 담당함
과거 활용 사례가 많지 않았던 NPU도 이번 장치에서는 실제로 사용할 수 있었음
단일 하드웨어 구성으로 판매되며 주요 사양은 다음과 같음
- 탈착 가능한 2TB M.2 SSD
- 128GB LPDDR5x-8000 통합 메모리
- 메모리 대역폭 256GB/s
2TB 저장공간은 로컬 모델을 쌓아두기에 충분하고, 128GB 메모리는 적당한 크기의 모델 몇 개를 올린 뒤에도 시스템 운영 공간을 남길 수 있는 수준임
판매가는 $3,999.99 USD이며, Windows 11 Pro 또는 Linux가 사전 설치된 단일 구성으로 구매 가능함
사용자가 받은 뒤 원하는 OS를 설치할 수 있지만, AMD가 공장 출하용 Linux/Windows 이미지와 패키지된 드라이버·프로그램·모델을 별도로 제공하지는 않을 것으로 파악됨
테스트 제품은 Debian 13.4 기반 커스텀 AMD Linux 배포판을 실행하는 Linux 버전임

작은 섀시와 확장성

Halo는 마케팅 이미지와 달리 매우 작은 상자형 장치로, 바닥 면적은 약 15cm 정사각형, 높이는 5cm 미만임
무게는 1.2kg이지만, 휴대하려면 필수 구성인 240W 전원 어댑터까지 함께 고려해야 함
전원 버튼과 포트는 모두 후면에 배치됨
- USB 3.2 Type-C 포트 4개
- HDMI 2.1 포트 1개
- 10GbE 이더넷 포트 1개
- Wi-Fi 7 및 Bluetooth 5.4
- 전원 버튼에 가장 가까운 USB-C 포트는 USB-C Power Delivery 입력 전용
명확한 적층 구조는 없지만, 코너 받침과 모든 측면의 흡기구 덕분에 Windows와 Linux를 따로 쓰거나 클러스터를 구성하는 식으로 쌓아둘 여지가 있음
냉각은 블로어 팬 2개가 상단과 측면에서 공기를 흡입해 방열판을 통과시킨 뒤 후면으로 배출하는 구조임
평소에는 조용하지만, 내부 프로세서의 120W TDP를 처리할 때는 팬 속도가 올라갈 수 있음
케이스 하단의 흰색 조명 링은 절전 상태에서 파란색으로 점멸하며, 조명은 끌 수 있음

분해와 내부 구성

밀집형 미니 PC 구조라 내부에서 직접 확인할 수 있는 부분은 많지 않지만, 자석식 탈착 받침 아래 볼트 4개를 제거하면 하단 커버를 열 수 있음
M.2 2280 SSD는 추가 분해 없이 쉽게 접근 가능함
상단 셸을 제거해 컴퓨트 코어를 드러내려면 몇 개의 연결부를 더 분리해야 함
코어 자체는 꺼낼 수 있지만, 사용자가 추가로 손댈 부분은 많지 않음
하단 케이스를 처음 열었을 때 보이는 금속판은 볼트 4개로 분리 가능하지만, 열전도 재료를 건드리지 않기 위해 제거하지 않았음

llama-bench로 본 LLM 성능

Ryzen AI Max+ 395, 코드명 Strix Halo는 2025년 봄부터 이미 제공된 프로세서라 Halo가 이 부분에서 새로운 성능을 내세우지는 않음
같은 프로세서를 쓰는 다른 하드웨어로는 Framework Desktop, Beelink GTR9 Pro, X+ Rival, ACEMAGIC M1A PRO가 있음
성능 테스트는 제품의 핵심인 소프트웨어 구성을 보기 전에, 기대 수준의 성능이 나오는지 확인하기 위한 용도임
테스트는 llama.cpp에 포함된 llama-bench를 중심으로 진행됨
- llama.cpp는 GGUF 형식의 대형 언어 모델을 로드하고 실행하는 오픈소스 추론 엔진임
- llama-bench는 프롬프트 처리(prompt processing, pre-fill)와 토큰 생성(token generation, decoding)을 측정함
LLM 토큰/초 성능은 호환성 차이와 변동성에 민감하므로, 결과는 여러 출처와 함께 봐야 함

기본 llama-bench 테스트 결과

기본 테스트는 pp512/tg128 구성으로, 사용자가 512 토큰을 입력하고 모델이 128 토큰을 생성하는 상황을 시뮬레이션함
사용 모델은 최근 관심을 받은 17~32GB급 모델 3개임
- Qwen 3.6 35B A3B(Q4_K_M)
- Gemma 4 31B IT(IQ4_XS)
- GLM 4.7 Flash(Q8_0)
비교 대상은 다음 장치였음
- AMD Ryzen AI Halo: AI Max+ 395, 128GB
- Framework Desktop: AI Max+ 395, 128GB
- M2 Ultra Mac Studio: 76코어 GPU, 128GB 통합 메모리
- M3 Ultra Mac Studio: 80코어 GPU, 512GB 통합 메모리
Halo와 Framework Desktop에서는 ROCm/HIP와 Vulkan 런타임을 모두 사용함
Apple Silicon Mac Studio가 AMD Ryzen AI Max+ 395 장비보다 더 높은 성능을 냈고, 주요 차이는 Mac의 약 800GB/s 메모리 대역폭과 Max+ 395의 256GB/s 대역폭에서 나옴
프롬프트 처리 구간은 일반적으로 연산 제약이 크며, dense 모델인 Gemma 4에서는 Apple Silicon과 Max+ 395의 차이가 메모리 대역폭만 비교했을 때보다 작게 나타남
Qwen 3.6 35B A3B와 GLM 4.7 Flash 같은 sparse Mixture of Experts 모델의 프롬프트 처리는 연산 의존도가 낮아 Mac의 메모리 대역폭 이점이 더 크게 드러남
토큰 생성은 일반적으로 메모리 대역폭 제약이 훨씬 크며, Gemma 4에서는 Apple Silicon 장치가 2~3배 높은 토큰/초 성능을 보임
Ryzen AI Max+ 395에서 Vulkan과 ROCm/HIP 사이에는 명확한 승자가 없었음
- 더 빠른 백엔드는 호환성, 모델 구조, 컨텍스트 크기, 하드웨어, 소프트웨어 최적화에 따라 달라짐
- 두 백엔드 모두 계속 업데이트되고 있음
테스트는 Flash Attention을 켠 상태로 진행됐지만, 이 설정이 항상 최고 성능을 보장하지는 않으므로 각 시스템에서 직접 테스트하는 편이 좋음

컨텍스트 증가와 에이전트형 사용 시뮬레이션

에이전트형 LLM 사용이 늘어나면서, 컨텍스트 크기가 커질 때 성능이 어떻게 떨어지는지 보기 위한 llama-bench 테스트가 추가됨
테스트는 지시를 받은 에이전트가 도구 호출을 하거나 답변을 제공하는 상황을 단순화해 시뮬레이션함
주요 인자는 다음과 같음
- -p, -n: 프롬프트 처리와 토큰 생성에 사용할 토큰 수 지정
- -b, -ub: 배치와 마이크로배치 크기 지정
- -fa: Flash Attention 활성화 또는 비활성화
- -ngl: GPU로 오프로드할 모델 레이어 수 지정
- -r: 반복 횟수 지정
- -d: 이미 컨텍스트에 들어 있는 토큰 수 지정
테스트를 연속 실행할 때 생길 수 있는 열 누적을 줄이기 위해, 자체 스크립트로 루프와 지연 시간을 넣어 실행함
세 모델 모두 컨텍스트 크기가 증가하면서 성능 저하가 크게 나타남
Gemma 4는 Vulkan 백엔드와 65,536 토큰 컨텍스트 조합에서 30분 안에 완료되지 않았음

전력과 온도

Halo는 매우 작은 섀시를 갖고 있어 Ryzen AI Max+ 395 패키지의 최대 TDP 120W, 부스트 최대 140W를 지속할 수 있는지 확인함
비교 대상으로 같은 Ryzen AI Max+ 395를 쓰는 Framework Desktop도 함께 테스트함
테스트는 Quarch QTL2843으로 벽면 전력 소비를 측정하면서 llama-bench prefill 테스트 20회를 실행하는 방식으로 진행됨
두 장치 모두 “Performance” 모드였고, Halo는 전력이나 냉각 사용자 설정을 허용하지 않음
Framework Desktop의 AI Max+ 395는 테스트 내내 120W 기준선을 유지했고, 130W까지의 전력 스파이크가 비교적 자주 발생함
Halo는 테스트 시작 후 약 5분간 140W를 유지하다가, 이후 나머지 테스트 동안 120W TDP로 내려감
Halo의 블로어 설계와 모든 측면의 흡기구는 열평형 상태에서도 외부를 비교적 차갑게 유지했지만, 하단은 약 50°C까지 따뜻해짐
팬은 열을 빼내는 동안 크게 회전하지만, 소리는 날카롭기보다 “woosh”에 가까운 성격임

소프트웨어가 만드는 제품 가치

Ryzen AI Max+ 395 기반 미니 PC는 여러 제품으로 살 수 있으므로, Halo의 독특한 가치는 새 하드웨어보다 AMD Ryzen AI Developer Center, 선별 구성, 1st-party 지원 약속에 있음
Halo는 NVIDIA DGX Spark처럼 특정 AMD 또는 NVIDIA 하드웨어에서 테스트해야 하는 개발자가 환경 설정에 쓰는 시간을 줄이도록 설계됨
DGX Spark와 달리 Halo는 Linux와 Windows 버전이 모두 있음
Linux 버전은 부팅하면 AMD Ryzen AI Developer Center로 진입하며, 이곳에서 소프트웨어 설치·업데이트, 문서 접근, 시스템 제어를 수행함
AMD에 따르면 Halo는 잠겨 있지 않아 사용자가 원하는 OS를 설치할 수 있음
다만 AMD의 공장 출하용 Windows/Linux 구성 사이를 전환할 수 있는 이미지는 제공되지 않을 것으로 파악됨

Best Known Configurations와 Playbooks

AI Halo와 Developer Center는 AMD의 Best Known Configurations(BKC) 에 접근하게 해줌
BKC는 포함된 소프트웨어, 패키지, 드라이버가 서로 호환된다고 AMD가 검증한 시스템 구성임
이 구성은 playbook을 실행하거나 학습을 시작할 때 의존성 문제를 먼저 해결해야 하는 부담을 줄여줌
일반 AI Max+ 시스템의 AMD AI Playbook은 메모리 할당을 위해 명령줄 지시를 제공하지만, AI Halo에서는 Linux 또는 Windows에 따라 슬라이더나 드롭다운으로 단순화됨
Halo는 수동 설정이나 복잡한 구성을 막지 않으며, 구현과 하드웨어 세부사항을 추상화하는 위험이 있지만 더 깊이 들어가기 전의 시작점을 제공함
AMD AI Playbooks는 AMD 하드웨어에서 AI 워크로드를 탐색할 수 있게 하는 간단한 튜토리얼 모음임
Playbooks는 AI Halo에 초점을 맞추지만 Radeon GPU용 버전도 제공됨
Playbooks는 GitHub에도 공개되어 있으며, AMD는 BKC처럼 이를 최신 상태로 유지하고 매월 새 playbook을 추가하겠다고 함

사용해 본 Playbooks

AMD Sync는 네트워크를 통해 Halo에 원격 접속하는 간단한 방법을 제공함
- 라이브 메트릭 확인
- VSCode 프로젝트 열기
- Jupyter Labs 프로젝트 시작
- 터미널 접근
AMD Sync는 원격 장치에 AMD Sync를 설치하고 SSH 정보를 복사하는 것만 필요했으며, 테스트에서는 문제 없이 진행됨
LM Studio와 Lemonade 관련 playbook은 로컬 LLM을 다운로드, 관리, 서빙, 상호작용하는 과정을 다룸
- LM Studio는 이미 로컬 모델 실행에 널리 쓰이는 프로그램임
- Lemonade는 AMD가 더 최근에 개발한 LLM 실행 도구임
LM Studio와 Lemonade playbook은 소프트웨어 설치, 런타임 업데이트, 첫 모델 다운로드까지 짧고 따라가기 쉬운 흐름으로 구성됨
두 playbook은 로컬 LLM을 코딩 보조로 쓰거나 OpenAI API와 프로그래밍 방식으로 상호작용하는 단계까지 이어짐
VSCode playbook은 이전 playbook에서 호스팅한 로컬 LLM을 IDE 안의 Cline agent와 연결함
PyTorch 기반 LLM 실행과 파인튜닝 playbook은 사전 설치된 소프트웨어, 드라이버, 모델 덕분에 4~5단계로 LLM을 실행할 수 있음을 보여줌
PyTorch playbook은 스크립트의 내부 동작까지 다루는 완전한 튜토리얼은 아니지만, 의존성을 연결하고 작동 여부를 확인하는 스모크 테스트 역할에는 성공적임
초보자를 위해 “Next Steps”로 다음에 시도할 아이디어도 제공함

소프트웨어 구성의 장점과 약점

BKC와 playbooks는 여러 튜토리얼을 따라 했는데도 아무것도 실행되지 않는 상황을 줄여주는, 언제든 돌아갈 수 있는 기준 상태를 제공함
Developer Center의 System Reset 버튼으로 해당 상태에 접근할 수 있음
Halo는 일반 컴퓨터처럼 필요한 대로 설치하고 구성할 수 있으므로, BKC와 playbooks가 사용자의 자유를 막지는 않음
BKC와 playbooks는 3rd-party 튜토리얼에서도 알려진 시작점과 호환성을 가정할 수 있게 해, 사용자가 더 멀리 나아가기 쉽게 만들 수 있음
AI Playbook GitHub issues에서 볼 수 있듯, 현재 일부 playbook은 실패하는 부분이 있으며 실제 테스트 중에도 문제가 발생함
AMD가 이런 문제를 빠르게 해결하지 않으면 전체 소프트웨어 가치가 흔들릴 수 있고, 미래 가치 약속을 보고 구매할 때의 위험으로 남음

실제로 사용된 NPU

Halo에서는 AMD Lemonade와 FastFlowLM을 통해 XDNA 2 NPU에서 LLM을 실행할 수 있었음
실행 모델은 gpt-oss-20b-FLM이며, NPU 사용률 원격 측정은 제공되지 않았음
CPU/GPU 사용률이 거의 0인 상태에서 AI Max+ 395 패키지가 최대 35W를 소비했고, 생성 성능은 20 tokens/s였음
NPU는 GPU보다 연산 성능이 낮은 경우가 많지만, 대신 훨씬 높은 에너지 효율을 갖는 것이 장점임
카메라 같은 센서를 빠르게 처리해 CPU와 GPU를 주요 작업에 남겨두는 식의 작업에 적합함
Ryzen AI Max+ 395와 NPU를 포함한 이 개발 키트는 거대한 GPU 대신 더 전력 효율적인 로컬 LLM 개발을 진전시키는 데 도움이 될 수 있음

USB-C Power Delivery 동작

Halo는 전적으로 USB-C PD로 전원을 공급받음
USB-C는 현재 최대 240W를 전달할 수 있으며, Halo에는 USB-C PD Extended Power Range(EPR)를 지원하는 Delta ADP-240KB BA AC/DC 전원 어댑터가 포함됨
이 어댑터는 최대 48V, 5A를 제공할 수 있음
테스트에서 Halo는 전원 공급 장치로부터 200W를 넘게 끌어오지 않았음
Infineon CY4500-EPR로 전원 어댑터와 Halo 사이의 PD 패킷을 측정함
전원 어댑터는 처음 연결될 때 SOURCE_CAPABILITIES 메시지로 제공 가능한 전압과 전류를 알림
처음에는 20V, 5A, 즉 100W로 제한되는 Standard Power Range(SPR) 출력 모드만 표시됨
Halo는 EPR_MODE 메시지를 보내 전원 어댑터의 EPR 모드를 요청하고, 이후 전체 EPR 기능을 확인함
Halo는 최대 5A를 쓸 수 있는 고정 48V 출력 모드를 요청해 최대 240W 구성을 사용함
Halo는 전원 어댑터로 EXTENDED_CONTROL_MESSAGE를 계속 보내며, 고정 전압 출력에서 이런 형태의 지속 메시지를 본 점이 흥미로운 부분임