Memdoor: Qwen3.8-27B 모델 5개로 구성한 팀이 LiveCodeBench Hard에서 Fable 5를 능가함

Memdoor 다중 에이전트 워크플로가 LiveCodeBench Hard의 첫 10개 문제를 5회씩 풀어 50회 중 49회 성공함. 평균 9.8점으로 원 연구진의 하네스 9.6점과 Fable 5 단독 실행 8.0점보다 높았음 계획자, 아이디어 제안자 2명, 해결자, 관리자가 각각 새 컨텍스트에서 시작하고 디스크의 파일로만 소통함. 모델의 성공 선언이 아니라 샘플을 실행하는 셸 스크립트가 통과 여부를 결정함 원 연구진의 프롬프트와 반복 절차를 재현했지만 평가 범위는 전체 100문제가 아닌 10문제이며, 학습 데이터 오염을 배제할 수 없음. Fable 5 점수는 원 연구진의 결과 파일에서 가져옴 50회 실행에 35.79달러와 출력 토큰 1,530만 개가 들었으며, 모델 실행 시간 중앙값은 40분, 최장은 4시간이었음. 모든 실행은 로컬이 아닌 OpenRouter에서 수행됨 관리자의 잘못된 반례와 종료 판단 실패로 정답 코드가 덮어써지는 문제가 나타남. 작은 입력의 완전 탐색으로 반례를 검증하고 마지막 샘플 통과 코드를 보존하는 개선책은 이번 점수에 반영하지 않았음 team-solve의 구성과 재현 범위 team-solve는 프로그래밍 문제를 푸는 다중 에이전트 하네스로, Memdoor 워크플로로 구현됨 계획자, 아이디어 제안자 2명, 해결자, 관리자라는 다섯 역할에 별도의 수정 작업자가 추가됨 모든 에이전트는 새 컨텍스트에서 출발하며, 채팅 기록에 의존하지 않고 디스크의 파일만 읽고 소통함 GVS5H의 방법을 사용함. 해당 연구에서는 Qwen3.8-27B 모델 5개가 LiveCodeBench Hard에서 Fable 5와 대등한 성능을 냄 워크플로 파일은 코딩 에이전트가 방법에 대한 설명을 바탕으로 직접 생성했으며, 사람이 수작업으로 작성하지 않았음 최초 생성은 2026년 10월 25일에 이루어짐 이후 첫 실행에서 발견한 문제를 수정하고, 원 연구진의 정확한 프롬프트를 사용하는 비교 실험을 수행함 10문제, 5회 반복 평가 결과 2026년 10월 31일 비교에서는 Qwen3.8-27B, 응답 상한 128K, 원 연구진의 프롬프트와 반복 절차를 사용함 LiveCodeBench Hard 목록의 첫 10문제를 5회씩 실행함 원 연구진의 수정된 채점기로 모든 공개 테스트와 숨겨진 테스트를 평가함 회차별 점수는 10점 만점으로 다음과 같음 Memdoor 워크플로: 10, 10, 10, 10, 9점으로 평균 9.8점 원 연구진...