Brood War Bench

에이전트가 Brood War를 얼마나 독립적으로 플레이할 수 있는지 평가하기 위해 모델과 추론 노력 설정 19개 조합을 서로 대전시켰으며, 초보 수준을 넘어선 모델은 없었음 Codex Astra / xhigh가 18승 무패로 1위를 차지했고, Astra / medium과 Claude Fable이 각각 16승과 15승으로 뒤를 이음 실시간 게임에서 생각에 쓰는 시간이 중요한 제약이었음. 구형 모델은 턴제 게임처럼 사고하다 무너지는 경향이 있었고, 신형 모델도 때때로 같은 문제를 보임 Codex는 일꾼을 보내 상대를 교란하는 데 강했지만, 지속적인 생산과 하위 에이전트 간 협업에는 약해 병력을 모으지 않고 한 기씩 공격에 투입하곤 했음 Claude Fable은 경제와 기술 발전을 적극적으로 시도한 반면, Grok 4.6은 긴 추론 사이에 행동이 거의 없어 관찰과 행동을 반복하는 제어 루프를 제대로 유지하지 못함 에이전트 전용 게임에서 출발한 평가 Brood War Bench는 친구들과 실험하기 위해 에이전트로만 조작할 수 있는 Brood War를 만든 데서 출발함 StarCraft를 몇 번밖에 해보지 않은 친구들도 예상보다 잘 플레이했음 친구들은 에이전트에게 공격을 요청했을 뿐이며, 에이전트가 소규모 병력을 만들고 공격까지 수행했다고 답함 이를 계기로 에이전트가 사람의 도움 없이 어디까지 할 수 있는지 평가함 모델과 추론 노력 설정을 조합한 라운드 로빈 방식으로 모든 구성이 다른 모든 구성과 대전함 하네스는 Freestyle VM에서 경기를 병렬 실행하고, 경기마다 게임 엔진 데이터와 양쪽 에이전트의 하네스 로그를 저장함 전체 대전표는 19 × 19 구성이며, 승리와 패배 외에 벤치마크 제한 시간에 도달한 경기를 별도로 표시함 순위와 비용 Codex Astra가 상위권을 차지했으며, xhigh 설정은 다른 모든 구성을 이김 xhigh: 18승 0패, 승률 100%, APM 12.6, 경기당 10.54달러 medium: 16승 2패, 승률 88.9%, APM 17.2, 경기당 15.11달러 low: 14승 4패, 승률 77.8%, APM 25.7, 경기당 21.07달러 Claude Fable은 15승 3패, 승률 83.3%로 3위에 올랐으며, APM 12.6과 경기당 비용 12.24달러를 기록함 Codex 5.6 Sol은 medium 72.2%, low 66.7%, xhigh 61.1%의 승률을 기록함 경기당 비용은...