로봇 팔을 제어하는 GPT-6 Astra

같은 YAM 로봇 팔과 에이전트 정책으로 두 조작 과제를 비교한 결과, GPT-6 Astra는 블록을 그릇에 넣는 작업에서 20회 중 19회 성공해 Fable 5.1의 8회를 크게 앞섬 각 모델은 매 차례 카메라 3개 시점과 로봇 상태를 받아 말단 장치의 목표 자세를 지정했으며, 중간 수준 추론과 LLM 호출 20회 한도를 적용함 퍼즐 조각을 홈에 끼우는 작업에서는 Astra와 Fable 5.1 모두 20회 중 2회 성공에 그쳤고, 홈까지 이동한 뒤 마지막 삽입 단계에서 막힘 Astra의 블록 작업은 회당 평균 2.5분·추정 0.94달러로 Fable 5.1의 6.8분·2.12달러보다 빠르고 저렴했으며, 퍼즐 작업에서도 시간과 추정 비용이 낮았음 블록 배치 성능 향상이 퍼즐 삽입 성공률 향상으로 이어지지는 않음 — 장비 차이, 비동시 실험, 모델을 아는 운영자의 채점, 수동 물체 재배치도 비교 시 고려해야 함 비교 과제와 실험 구성 Claude Fable 5와 Fable 5.1 비교의 후속 실험으로, GPT-6 Astra에 같은 YAM 로봇 팔과 Inspect Robots 에이전트 정책을 적용함 세 모델에 두 가지 과제를 각각 20회씩 수행시켜 총 120회를 평가함 테이블 위의 빨간 블록을 집어 그릇 안에 넣음 둥근 파란 퍼즐 조각의 중앙 손잡이를 잡아 보드의 원형 홈에 끼움 성공 여부와 도달 단계 평가 사람이 각 실행에서 도달한 최고 단계를 채점해, 실패한 실행도 어디까지 진행했는지 기록함 기존 Fable 실험과 동일한 0~4점 기준을 사용함 0점: 목적 있는 접근을 하지 못함 1점: 물체에 접촉함 2점: 물체를 테이블에서 완전히 들어 올림 3점: 물체를 내려놓을 목표 지점 위로 이동함 4점: 물체를 최종 위치에 놓음 블록을 그릇에 넣기: 성공률 95% GPT-6 Astra는 20회 중 19회 성공해 성공률 95%, 평균 도달 단계 3.95점을 기록함 회당 평균 출력 토큰은 2.1천 개, 추정 비용은 0.94달러, 소요 시간은 2.5분임 Fable 5.1의 성공 횟수는 20회 중 8회로, 성공률 40% 와 평균 단계 2.40점에 해당함 회당 평균 출력 토큰은 1.29만 개, 추정 비용은 2.12달러, 소요 시간은 6.8분임 Fable 5는 20회 중 1회만 성공했으며, 성공률 5%, 평균 단계 1.30점에 그침 회당 평균 출력 토큰은 1.92만 개, 추정 비용은 2.69달러, 소요 시간은 8.2분임 Astra는...