코딩 에이전트를 위한 버전 관리 벤치마크

GitButler 팀이 운영하는 vc-bench에서 Claude Code와 Codex에 같은 버전 관리 작업을 맡기고 Git, Jujutsu, GitButler를 비교함 전체 360회 중 359회 성공. 기본 Git과 GitButler는 각각 120회 모두 통과했고, Jujutsu에서 한 번 실패함 GitButler는 이 실험에서 Git보다 작업 시간이 약 65% 짧고, 실행한 명령은 약 78% 적었음 어떤 명령을 썼는지가 아니라 최종 Git 이력과 작업 트리가 요구사항에 맞는지로 성공 여부를 판정함 미리 준비된 저장소에서 버전 관리 작업만 측정했으며, 코드 작성이나 작업 환경 준비, 여러 에이전트의 동시 작업은 비교하지 않음 어떤 작업을 비교했나 Claude Code와 Codex가 미리 구성된 Git 저장소에서 같은 자연어 지시를 받아 작업함 도구 3종 × 에이전트 2종 × 시나리오 6개를 각각 10회 반복해 총 360회 실행 시나리오는 실제 버전 관리에서 자주 만나는 이력 편집 작업으로 구성 여러 변경이 섞인 작업 트리에서 필요한 부분만 골라 커밋 새 커밋을 만들지 않고 변경을 기존 커밋 여러 개에 나눠 반영 중간 커밋을 목적별로 분리하거나, 커밋 순서를 바꾸거나, 지정된 커밋끼리 합치기 main이 바뀐 뒤 충돌을 해결하면서 기존 커밋과 미커밋 변경을 보존 두 에이전트의 전체 결과 Git 120/120, GitButler 120/120, Jujutsu 119/120 통과 기본 Git도 모든 작업을 완료했으므로, 이 실험에서 GitButler의 차이는 성공률보다 작업 시간과 명령 수에 있었음 Jujutsu는 전체 집계에서 Git보다 오래 걸렸지만, 이 결과만으로 다른 작업에서도 일관되게 느리다고 볼 수는 없음 Codex 결과만 따로 보면 Codex에서는 세 도구가 각각 60회 모두 통과함. 위의 360회 전체 결과와는 다른 집계 평균 작업 시간과 명령 수는 다음과 같음 Git: 92.2초 / 20.4개 Jujutsu: 110초 / 21.0개 GitButler: 34.0초 / 4.5개 시나리오별로 Git과 비교한 작업 시간 차이의 95% 신뢰구간은 GitButler가 −106~−10.7초, Jujutsu가 −23.3~+58.6초였음 이 시나리오에서는 GitButler가 더 짧은 시간에 작업을 마쳤고, Jujutsu는 시간 차이의 신뢰구간이 0을 포함해 어느 쪽이 더 빠른지 확정하기 어려움 어떻게 채점했고, 어디...