GPT-6 Astra, 수능 벤치마크 첫 전 영역 만점

1 hour ago 1

개인 개발자가 운영하는 2026학년도 수능 LLM 평가에서 GPT-6 Astra가 처음으로 종합 450점 만점을 기록함 국어와 수학의 모든 선택과목, 영어, 한국사와 평가 대상 탐구 4과목을 모두 맞혔으며, 기존 모델들이 어려워했던 사회문화 8번도 해결함 일반 모드에서 입력 약 22만 6,000개, 출력 약 13만 1,000개의 토큰을 사용해 출력이 입력의 약 58%에 그침 한 문제씩 풀면 만점이지만, 한 과목의 문제를 한꺼번에 입력하면 사회문화 8번을 틀려 448.5점을 기록함 외부 검색과 계산기 없이 진행한 평가지만, 문제가 학습에 포함됐을 가능성이 있어 처음 보는 문제에 대한 추론 능력만을 측정한 결과로 단정할 수는 없음 평가 대상 전 영역에서 첫 만점 2026 수능 LLM 풀이 기록은 여러 모델의 답안, 성적과 토큰 사용량을 공개하는 비공식 평가 프로젝트 평가 대상은 국어, 수학, 영어, 한국사와 물리학Ⅰ, 화학Ⅰ, 생명과학Ⅰ, 사회문화임 국어와 수학은 공통 문항에 모든 선택과목의 평균 점수를 더함 탐구는 4과목 평균에 2를 곱해 100점으로 환산하며, 전체 합계는 450점 만점 GPT-6 Astra는 이 평가에 포함된 전 영역을 모두 맞힌 첫 모델이며, 수능에 존재하는 모든 탐구 과목을 시험했다는 뜻은 아님 일반 모드의 high 설정에서 국어 100점, 수학 100점, 영어 100점, 한국사 50점, 탐구 환산 100점을 기록함 만점과 함께 눈에 띄는 토큰 사용량 일반 모드에서 입력 약 22만 6,000개, 출력 약 13만 1,000개의 토큰을 사용함 실험 공개자는 만점뿐 아니라 출력 토큰이 입력보다 훨씬 적다는 점을 주요 특징으로 짚음 다만 토큰을 적게 썼다고 실제 비용도 항상 가장 낮은 것은 아님 일반 모드에서는 API 단가 차이로 GPT-5.6 Sol보다 비용이 높았음 과목별 일괄 입력 모드에서는 Claude Opus 5와 Fable 5.1보다 낮은 비용으로 전체 풀이를 수행했다고 보고함 입력 방식에 따라 달라지는 성적 일반 모드는 필요한 지문과 문제를 한 문항씩 입력하는 방식 고난도 모드는 더 어려운 문제를 추가하는 것이 아니라, 같은 과목의 모든 문제를 한 번에 풀게 하는 방식 고난도 모드에서는 사회문화 8번 한 문항을 틀려 448.5점으로 GPT-5.6 Sol Pro와 같은 점수를 기록함 문제는 PDF에서 텍스트를 추출하고 오류를 수작업으로 수정한 뒤 입력하며, 수식은 LaTeX로 변환함 그...

Read Entire Article