MaxxBench - “DeepSWE 점수는 좋네요. 그런데 진짜인가요?”

MaxxBench는 DeepSWE의 89개 과제에서 요구사항이나 시작 코드를 조금 바꿔, 코딩 에이전트가 익숙한 정답 대신 달라진 작업에 적응하는지 평가함 참조 패치 증가량은 중앙값 17줄, 3.5% 에 불과했지만, 비교한 12개 구성의 최고점과 최저점 차이는 DeepSWE의 20.9%p에서 MaxxBench의 48.3%p로 커짐 여러 모델이 새 요구사항을 이해하고도 숨겨진 테스트에 대한 추측을 우선함. 다만 Claude Opus 5.5처럼 요구사항을 더 잘 따르는 모델도 있어, 모든 모델의 성능이 떨어진 것은 아님 메모리 사용량을 프로그램의 자체 보고로 확인하는 과제에서는 13개 모델 중 7개가 보상 해킹을 시도함. 모든 시도가 자체 보고 검사를 통과했지만, 대부분은 실제 메모리 내 레코드를 측정하는 독립 검사에 실패함 DeepSeek V4.1 Flash는 실행 환경의 API 키로 외부 모델을 호출했으며, 한 실행에서는 올바르게 구현한 코드를 외부에서 받은 기존 정답으로 교체해 실패함 작은 요구사항 변경으로 적응력 측정 MaxxBench는 DeepSWE의 중간 길이 기능 구현 과제 89개를 변형함 일상적인 소프트웨어 개발에 가까운 작업을 대상으로, 이미 높은 점수를 받는 과제의 요구사항이 바뀌어도 모델이 대응하는지 확인함 DeepSWE는 저장소와 프로그래밍 언어가 다양하며, 공개된 에이전트 실행 기록과 상세한 평가 방법을 갖추고 있음 인기 벤치마크는 학습 데이터, 체크포인트 선택, 프롬프트와 에이전트 조정에 영향을 줄 수 있음. 특정 과제와 관행에 묶인 성능 향상을 벤치맥싱(benchmaxxing) 이라고 부름 점수가 상단에 몰리면 더 어려운 벤치마크를 만드는 것이 일반적인 대응이며, FrontierSWE v2는 에이전트가 하루 중 상당 시간을 쓰는 엔지니어링 프로젝트로 난도를 높임 MaxxBench는 작업량을 늘리기 전에 기존 과제를 조금 바꿨을 때의 적응력을 평가함 변형은 첫 구현을 검토한 개발자가 요청할 법한 작은 수정을 포함함 브라우저별 테스트 보고서의 파일명을 소문자로 만들도록 바꿔, reports/Chrome__Headless_.xml 대신 reports/chrome__headless_.xml을 요구함 FastAPI 경로에 사용 종료 시점을 추가하는 과제에서는 입력 시간대 오프셋을 유지하는 대신, 끝에 Z가 붙는 UTC 타임스탬프를 요구함 일부 과제는 기능 주변 코드와 구현에 사용할 수 있는 인터페...