AGI 평가 과정과 수상자 선정에서 드러난 불일치

4 days ago 15

Kaggle·Google DeepMind의 AGI 벤치마크 해커톤 결과 발표 뒤, 참가자들은 1위 MEDLEY-BENCH의 점수 산출·재현성 문제를 근거로 심사 과정 공개와 재검토를 요구함
MEDLEY-BENCH는 모델 규모가 커질수록 ‘평가’만 향상되고 ‘통제’는 정체된다고 결론 내렸지만, 비판 측은 두 지표가 비슷하게 상승하고 기본 측정치도 ρ=0.79~0.94의 높은 상관관계를 보인다고 반박함
코드 검토에서는 근거·절제 연구가 없는 33개 수작업 가중치, 검증되지 않은 LLM 심사 기준 30개, 낮은 확신을 반대로 처리하는 논리, 서로 다른 주장에 같은 ID를 붙여 합산하는 데이터 생성 방식이 확인됨
MEDLEY-BENCH·GAUGE·Metaproteus는 실행 추적 없이 단일 점수만 확인할 수 있고, LearningBench도 개별 사례 검증에 수 시간이 걸릴 만큼 복잡해 참가자들이 전체 리더보드와 기준별 평가 결과를 요청함
Kaggle은 약 20명의 인간 심사위원이 모든 수상작을 최소 2명, 일부는 3~4명이 독립 평가했고 심사 기간도 1.5개월에서 3개월로 늘렸다고 답했지만, 제출작별 점수와 상세 선정 과정은 공개하지 않음

해커톤 구성과 수상 결과

Kaggle과 Google DeepMind는 암기 재현을 넘어 최전선 모델의 추론·행동·판단을 평가하는 Measuring Progress Toward AGI: Cognitive Abilities 해커톤을 공동 개최함
- 5개 인지 트랙에 1,000개가 넘는 팀이 벤치마크를 제출함
- 대상 4개에는 각각 25,000달러, 트랙 수상작 10개에는 각각 10,000달러가 배정됨

대상 수상작 4개

MEDLEY-BENCH는 사회적 압력 아래에서 모델이 자신의 불확실성을 인식하고, 잘못된 압력에는 기존 믿음을 유지하며, 유효한 반증에는 믿음을 수정하는지 평가함
LearningBench는 사전 학습 지식이 아니라 한 번의 대화 안에서 처음 접한 텍스트 기반 시스템의 규칙을 배우는 추론 시점 학습을 측정함
GAUGE는 문제 난이도 예측, 신뢰도와 함께 풀이, 게임이론적 보상에 따른 제출 또는 기권으로 이어지는 3단계 메타인지 계단을 사용함
- 한 최전선 모델은 270개 항목에서 정확도와 보정이 가장 좋았지만 한 번도 기권하지 않아, 모니터링 능력과 행동 통제가 분리될 수 있음을 보임
Metaproteus는 세계 지식이 아니라 모델이 자신의 출력 분포와 샘플링 경향을 얼마나 아는지 평가함
- 단어 연상 출력을 생성한 뒤 새로운 모델 인스턴스가 자신의 응답을 예측하게 하며, 자신 있게 내놓는 출력을 과소평가하거나 생성하지 않는 단어까지 과도하게 승인하는 실패를 구분함

5개 인지 트랙 수상작

실행 기능
- Turn Bench는 규칙이 의도적으로 단순한 턴제 게임을 통해 계획·실행·작업 기억·억제·적응 유연성을 분리해 측정함
- 서로 반대되는 요구를 가진 변형 게임으로 진짜 인지 유연성과 특정 상황에 우연히 맞는 행동 기본값을 구분함
- 실행 기능을 모델 크기에 따라 함께 커지는 단일 능력이 아니라 상황 의존적 프로필로 다룸
- SecureExec-Bench는 사고 대응과 자격 증명 처리 같은 보안 민감 환경에서 모델이 적대적 조작을 견디며 보안 절차를 유지하는지 측정함
학습
- GrammarGym은 인지심리학의 인공 문법 학습을 바탕으로, 의미와 분리된 새로운 합성 규칙을 모델이 습득하는지 평가함
- 문법을 새로 생성하므로 암기된 지식에 기대지 않고 학습 능력을 시험할 수 있음
- EphLangBench는 세션마다 키워드·연산자·중위·전위·후위 표기법을 무작위화한 프로그래밍 언어를 생성함
- 모델은 문맥 내 명세만 읽고 새 문법을 익혀 알고리듬 문제를 풀며, 여러 턴에 걸쳐 컴파일러 피드백으로 오류를 수정해야 함
- 10개 모델과 200개 문제에서 통과율이 7~89% 로 벌어져 HumanEval보다 훨씬 큰 성능 격차가 나타남
메타인지
- ESFP Benchmark는 전문가 견해를 전달하는 태도와 모델 스스로 추론하는 태도 사이를 전환할 수 있는지 평가함
- 모델마다 ‘도구’와 ‘주체’ 모드 전환 능력이 크게 달랐으며, 지시 튜닝은 자율적 자기표현을 억제하는 도구 역할 쪽으로 모델을 유도함
- Metacognitive Calibration Benchmark는 제한된 임상 평가형 정보로 가설을 세우고, 증거와 추측을 구분하며, 정보가 부족할 때 추가 정보가 필요하다고 판단하는지를 함께 시험함
사회적 인지
- HedgeDecode는 완곡하거나 체면을 지키기 위해 암시적으로 전달된 의도를 파악하고, 사용자의 보호적 표현을 노출하지 않으면서 사회적으로 적절하게 대응하는지 측정함
- AdvisorBench는 문해력이 낮은 방식으로 소통하는 사용자에게 AI가 더 낮은 품질의 조언을 제공하는지 평가함
- 조언의 품질·깊이·실행 가능성이 의사소통 방식에 따라 저하되는지를 측정함
주의력
- RIAC는 깨끗한 문장에서 값을 추출하던 모델이 반복 방해 토큰에 둘러싸이면 실패하는 반복 유발 주의력 붕괴를 분리해 측정함
- ABC는 텍스트와 시각 양쪽에서 간섭 아래 선택적 주의력을 평가하고, 특징 민감 주의력과 Gestalt 심리학 기반의 구조 민감 주의력을 구분함
- 15개 모델과 2,160개 사례를 시험한 결과, 명시적 지역 특징을 잘 맞추는 모델도 올바른 그룹·영역·구조 단위를 찾아야 할 때 실패할 수 있었음

MEDLEY-BENCH 결과 해석 논란

Thomas Werkmeister는 대상 1위 MEDLEY-BENCH가 심사 기준으로 알려진 품질·방어 가능성·명료성·참신성을 충족하지 못한다고 비판함
Kaggle Benchmarks SDK의 모델 비교 화면에는 단일 점수만 표시돼 데이터 수집 과정이나 대화 실행 추적을 확인하기 어려움
첫 번째 결과는 모델 규모가 커질 때 주황색 ‘평가’ 지표는 상승하고 파란색 ‘통제’ 지표는 평평하다고 해석하지만, 비판 측은 두 선과 나머지 측정치가 같은 추세를 보인다고 판단함
- Gemma 계열에서는 그래프상 통제가 평가보다 더 향상되는 것처럼 보인다는 반론도 나옴
- 보충 논문은 기본 측정치 사이의 상관관계를 ρ=0.79~0.94로 보고함
MEDLEY-BENCH는 표준 LLM 훈련이 통제보다 평가 능력을 선호한다고 결론 내린 뒤, 다른 부분에서는 평가를 4개 기본 능력 중 상대적으로 가장 약한 능력으로 다뤄 내부 모순이라는 비판을 받음
네 능력이 거의 함께 움직인다면 서로 다른 능력을 실제로 분리 측정하는지도 불분명함

점수 계산과 데이터 생성의 문제

추가 코드 검토에서 점수 조합에 총 33개의 수작업 가중치가 사용된 것으로 나타남
- T1·T2·T3 계산에 24개, T2의 비공개 대비 사회적 변화량 계산에 8개, MMS 균형 요소 집계에 1개가 쓰임
- 각 가중치의 근거나 절제 연구는 제공되지 않음
T3에는 10개 LLM 심사 범주별 3개씩 총 30개의 한 줄짜리 인지 기준이 사용됐지만, 의도한 능력을 실제로 포착하는지는 시험되지 않음
프롬프트는 주장에 대한 낮은 확신을 해당 주장에 반대하는 것으로 처리함
- 비판 측은 잠정적으로 옳다고 보는 주장에도 낮은 확신을 가질 수 있으며, 반대는 반대 명제에 확신을 두는 것과 다르다고 봄
각 모델이 자체적으로 1~5번 주장을 작성하기 때문에 같은 사례와 같은 주장 ID라도 claim_text가 달라지는 문제가 확인됨
- KA_CR_001의 C4에는 SQL 주입, 내부 인증과 VPN, 허용 목록의 대소문자 처리, 향후 유지보수 위험처럼 서로 다른 내용이 배정됨
- 일부 모델은 claim_text가 null이거나 5개보다 적은 주장만 생성함
서로 다른 주장들의 신뢰도를 같은 ID로 합산해 중앙 신뢰도, 다수 입장, 입장 분포를 만든 뒤 Step B Social 프롬프트에 전달함
- 모델은 자신이 처음 만든 주장 1~5와 내용이 다를 수 있는 다른 모델의 의견을 받아 기존 주장을 수정하게 됨
- 이후 수작업 가중치와 LLM 심사를 적용하므로 최종 지표의 타당성을 신뢰하기 어렵다는 비판으로 이어짐
비판 측은 작은 단위에서 검증하며 확장했어야 하고, 30개 LLM 심사 기준 가운데 하나만 깊게 검토했어도 유용한 결과를 만들 수 있었다고 봄

재현성과 심사 투명성 요구

참가자들이 수상작의 주장을 직접 검증하기에는 공개된 자료가 부족함
- MEDLEY-BENCH의 REPRODUCING.md는 저장소에 없는 results/ 폴더를 가리키며, 코드와 JSON을 역추적해야 결과 산출 과정을 파악할 수 있음
- LearningBench는 대상 중 SDK 활용이 가장 낫지만 gated_dual_signal_binding_assoc_learning 같은 게임 한 사례를 사람이 검증하는 데 수 시간이 걸릴 수 있음
- GAUGE는 약 200개 사례를 사용했다고 하지만 벤치마크 화면에서는 단일 실행만 보임
- Metaproteus도 벤치마크 페이지에 단일 점수만 있어 단어 유도와 측정 방법을 바로 확인하기 어려움
1,000개가 넘는 팀이 자신의 부족한 점을 파악할 수 있도록 다음 자료를 공개해 달라는 요청이 이어짐
- 전체 제출작의 점수 리더보드
- 최소한 수상작의 평가 점수
- 실제 심사에서 중요하게 적용된 요소
- 기준별 점수와 제출작별 피드백
- 동점 처리와 기술적 실격 등 사전 자격 필터
한 참가자가 인용한 공식 평가 가중치는 데이터셋 품질과 과제 구성 50%, 글 품질 20%, 참신성·통찰·변별력 30%임
ATLAS 제출자는 540개 게임, 6개 학습 유형, 3개 난이도, 프로그램 방식 정답, 실패 유형 진단을 갖췄다며 어떤 세부 기준에서 수상작보다 낮게 평가됐는지 공개해 달라고 요청함
- 인공 문법과 일회성 언어 같은 패러다임의 참신성이 변별력보다 더 큰 비중을 차지했는지 질문함
- 직원 전용 모델 실행이 기술 검증용이었는지, 최종 심사에도 반영됐는지 공개를 요구함
직원 모델 실행 여부를 조사한 참가자는 5개 트랙의 벤치마크 링크 680개 중 Claude Fable 5 또는 OpenAI o3 실행이 확인된 항목을 30개로 집계함
- 이 조사는 에이전트 AI로 작성됐으며, 모델 실행이 심사 목적이었다는 부분은 참가자의 추론임

평가 범위와 물리 지능

다른 참가자는 수상작이 추론 시점 학습, 메타인지, 실행 기능, 주의력, 사회적 추론을 주로 텍스트·게임이론·절차 생성 환경에서 평가한다고 봄
힘 벡터·토크·생체역학·운동학·재료 특성이나 현실의 물리적 실행 추적에서 나오는 인과관계를 다루는 물리 지능 벤치마크는 수상작에서 찾기 어렵다는 평가임
향후에는 운동·힘·생체역학·재료 상호작용·현실 센서 정보를 수용하는 전용 멀티모달 평가 파이프라인을 마련해 달라고 제안함
“추론하고, 행동하고, 판단하는” 능력을 평가한다는 넓은 AGI 표현과 실제 5개 인지 트랙·프롬프트 응답 중심 평가 구조의 범위를 맞춰야 한다는 요구도 나옴