PS5LM - 탈옥한 PS5에서 llama.cpp로 모든 GGUF 모델을 콘솔에서 네이티브 실행

탈옥한 PS5에서 AI 모델을 실행하고 노트북/휴대폰/코딩 도구가 사용하는 가정용 모델 서버로 만드는 오픈소스 OpenAI와 Anthropic 호환 API, 브라우저 채팅을 제공해 Claude Code 같은 도구와 연결 가능. 요청한 기기와 질문, 생성 중인 응답을 TV에서도 실시간으로 확인 llama.cpp의 Vulkan 백엔드로 RDNA 2 GPU를 활용하며, 모델과 컨텍스트에 공유 메모리 11.4GB를 사용할 수 있음. 지원 범위는 llama.cpp가 처리하는 아키텍처와 양자화 형식을 따름 PS5 Slim에서 Qwen 3.5 9B의 Q4_K_M 모델은 초당 55토큰, Qwen 3.8 27B의 UD-Q2_K_XL 모델은 약 20토큰을 기록. 모델과 문맥에 사용할 수 있는 공유 메모리는 11.4GB 텍스트 생성 외에 분류와 점수, 예/아니오 판단을 바로 반환하는 결정 모델도 지원. Ollaya와 같은 API로 텍스트와 이미지를 처리하며, d1 Omni 600M은 질문 3개를 0.3초에 처리 펌웨어 7.00~13.60의 탈옥한 PS5와 필수 홈브루 페이로드가 필요. 앱에서 Hugging Face 모델을 직접 내려받고, 가용 메모리에 맞는 문맥 길이와 캐시 구성을 자동으로 선택 TV 아래의 개인 모델 서버 PS5LM은 GGUF 모델을 콘솔 GPU에서 실행하고 로컬 네트워크의 다른 기기에 제공함 llama.cpp의 Vulkan 백엔드와 PS5의 RDNA 2 GPU를 사용함 모델과 컨텍스트용으로 공유 메모리 11.4GB를 활용함 llama.cpp가 지원하는 모든 아키텍처와 양자화 형식을 지원하되, 실제 적재는 가용 메모리에 맞춰야 함 OpenAI /v1/chat/completions 와 Anthropic /v1/messages 를 지원하며, 브라우저용 채팅 페이지도 제공함 클라이언트를 :8081">http://<console>:8081에 연결하면 되며, 모델 이름은 무엇을 지정하든 현재 적재된 모델이 응답함 opencode, Codex, Claude Code 연결 방법은 코딩 도구 사용 문서에서 확인 가능함 모델 선택, 메모리 계획과 이미지 입력 메모리 플래너가 각 GGUF를 읽고 남은 메모리에 들어가는 가장 긴 컨텍스트와 최적의 캐시 구성을 정함 Suggested 목록에는 콘솔에서 측정한 모델이 들어 있으며, 앱이 Hugging Face에서 직접 다운로드함 내부 저장소, M.2 드라이브, USB 드...