Laya, Mac에서 오프라인으로 실행하는 실시간 의사결정 AI

• Jev의 오픈소스 대안인 Laya를 Apple Silicon에서 실행하는 Core ML 이식 프로젝트로, 모델을 한 번 내려받으면 네트워크 없이 판단을 수행함
• 문장을 한 토큰씩 생성하는 대신 선택지별 확률, 순서형 점수와 참일 확률을 반환해, 긴 답변보다 빠른 선택이 필요한 작업에 활용
• 뱀 게임 데모에서 이동 방향을 고르고 선택 확률과 지연시간을 표시하며, 저장소의 게임 루프 측정에서는 초당 약 49~50회 판단을 처리함
• M3 Max의 Neural Engine에서 짧은 질문 하나를 약 5ms에 처리했으며, 같은 실험의 MLX 구현보다 판단당 시스템 에너지 사용량도 줄임
• Python API와 실행 예제를 제공하고 추론에 PyTorch나 MLX가 필요 없으며, 공개된 Gist에는 모델 다운로드부터 게임 실행까지의 명령이 정리돼 있음

확률로 다음 행동을 고르는 로컬 AI

• Laya는 현재 상태와 질문을 받아 어떤 선택이 적절한지 확률로 반환하는 모델임
• 뱀 게임에서는 상태 정보를 바탕으로 다음 이동을 선택하며, 화면에서 판단 결과와 게임 진행을 함께 확인할 수 있음
• 데모에는 경로 계획 정보와 충돌을 방지하는 안전장치도 포함돼 있어, 게임 성능은 모델만이 아니라 이들을 결합한 결과

로컬 실행 절차

• laya-coreml을 시험하는 셸 명령 6개로 구성되어 있음
• 프로젝트 생성과 의존성 추가는 다음 순서로 수행함 mkdir test-laya cd test-laya uv init uv add 'laya-coreml[demo]'
• 모델 다운로드와 데모 실행은 동일한 로컬 경로 models/snake를 사용함 hf download aac6fef/laya-multilingual-coreml-ane --local-dir models/snake uv run laya-coreml-snake --model models/snake

실행 환경과 성능 정보 범위

• Gist 제목에 명시된 실행 환경은 Mac M4와 CoreML이며, 오프라인으로 실행함
• Hacker News 제목에는 초당 45회 의사결정이 기재되어 있으나, 스크립트 본문에는 성능 측정 코드나 측정 조건이 없음