Raspberry Pi Pico 2 W에서 게임을 실행하는 초소형 월드 모델

tinyworldformer는 작은 신경망 두 개로 게임 생성과 플레이를 동시에 수행함. 월드 모델이 현재 프레임과 행동으로 다음 프레임과 보상을 예측하고, 행동 신경망이 생성된 화면을 보고 다음 행동을 선택함 루프형 트랜스포머는 같은 블록의 가중치를 반복 사용해 메모리를 절약함. 월드 모델은 게임에 따라 2만 6,000~13만 1,000개 파라미터로 구성되며, Pico에서는 기본적으로 두 번 반복해 실행함 Breakout, Doom-lite, Flappy Bird, Pong, Pac-Man lite를 지원하며, 칩에서는 실제 게임 규칙 없이 두 신경망만으로 플레이함. 버튼을 누르면 사람이 직접 모델이 생성하는 게임을 플레이할 수도 있음 Stream AC(λ) 기반 에이전트는 재생 버퍼나 배치 없이 전이 하나씩 학습하므로 보드 안에서도 처음부터 학습할 수 있음. 다만 에이전트가 월드 모델의 오류를 악용할 수 있어 실제 규칙과 대조하고 데이터를 추가 수집해 보정함 int8 양자화와 no_std Rust 구현으로 가장 큰 Pac-Man도 플래시 600KB, SRAM 460KB에 들어감. 같은 엔진은 WebAssembly에서도 동작하지만, Pico 자체의 프레임률은 아직 측정하지 않음 두 신경망으로 생성하고 플레이하는 게임 월드 모델은 프레임 + 행동 → 다음 프레임 + 보상, 행동 신경망은 프레임 → 행동을 담당함 월드 모델은 int8 루프형 트랜스포머로, 게임별 파라미터 수는 2만 6,000~13만 1,000개, 프레임당 연산량은 약 200만~800만 회의 곱셈-누산임 행동 신경망은 은닉층 두 개를 갖춘 float32 MLP로, 파라미터와 프레임당 곱셈-누산이 각각 약 9,000~1만 6,000개임 가중치 재사용으로 월드 모델을 마이크로컨트롤러에 넣을 수 있는지 확인하는 실험에서 출발함 Pico 2 W는 저렴하고 FPU가 있어 선택했으며, 작은 게임은 NumPy로 실제 규칙을 구현해 생성 프레임과 비교할 수 있어 선택함 이후 스트리밍 강화학습을 추가해 보드가 자체 생성 환경 안에서 학습하도록 확장함 칩에서는 어느 신경망도 실제 게임을 사용하지 않음 행동 신경망은 월드 모델이 만든 프레임만 보고, 월드 모델은 행동 신경망이 선택한 행동을 받음 두 신경망은 RP2350의 코어 1에서, USB와 디스플레이는 코어 0에서 실행함 사전 학습된 행동 신경망 대신 새 에이전트를 넣어 보드에서 처음부터 학습할 수 있으며, 사람...