LLM은 신경망 가중치를 읽고 쓰는 데 초인적이지 않다

GPT-6 Astra의 신경망 가중치 분석과 수정은 인상적이지만, 유능한 인간 ML 연구자도 수행할 수 있는 작업임 작은 게임 신경망은 입력 채널에 격자 위치와 의미가 드러나 있어, 첫 번째 층 가중치의 크기를 분석하면 어떤 게임을 학습했는지 알아낼 단서를 얻을 수 있음 0.8B Qwen의 수학 성능 향상은 새로운 수학 능력을 심기보다, 32k 토큰 이후 반복에 빠지는 특정 문제를 고쳐 더 오래 문제를 풀 수 있게 한 결과임 Astra는 반복하는 추론과 그렇지 않은 추론을 비교하고 관련 가중치를 줄이는 스티어링 계열 접근법을 사용했으며, 이는 인간 연구자에게도 가능한 방법임 직접 가중치를 수정하는 능력이 곧 초인적 AI 연구 능력은 아니며, LLM의 연구 기여 역시 가중치를 마법처럼 고치기보다 학습 과정 개선에서 나올 것으로 봄 게임 식별은 가중치에 드러난 공간적 단서를 활용함 해당 연구는 GPT-6 Astra가 작은 신경망의 가중치만 보고 학습한 게임을 식별하고, 가중치를 직접 수정할 수 있다고 보고함 연구진은 이를 인간이나 기존 알고리듬에 기대할 수준을 크게 넘어서는 능력으로 해석했으며, 특히 0.8B Qwen의 수학 성능 개선이 두드러진 결과임 언어 모델을 개선하는 초인적 능력이 실제로 있다면 재귀적 자기 개선으로 이어질 수 있다는 점에서 관심을 끎 하지만 약 1만 7천 개 가중치를 가진 게임 신경망은 입력 구조만으로도 상당한 단서를 얻을 수 있음 입력 채널은 각 8×8 격자 칸에 직접 연결되고, agent, moving objects처럼 의미를 나타내는 이름이 붙어 있음 각 입력에 연결된 첫 번째 층의 가중치 32개에 대해 L2 노름을 계산하면, 신경망이 격자의 어느 부분을 중요하게 취급하는지 히트맵으로 볼 수 있음 예시 Python 코드는 actor/dense1/kernel을 읽고, (10,10,5,32) 형태로 재구성한 뒤 채널별 노름을 계산함 히트맵에서 Breakout은 화면 아래쪽 수평선에 있는 플레이어 위치, Pac-Man은 특유의 미로에 분포한 움직이는 물체가 식별 단서가 됨 이러한 단서로 적어도 처음 세 게임은 바로 알아볼 수 있다고 보지만, 모든 독자가 이에 동의한 것은 아님 Astra가 Python 실행 없이 노름을 계산한 것은 초인적 암산일 수 있어도, 곧바로 초인적 AI 연구 능력을 뜻하지는 않음 신경망을 처음부터 손으로 작성한 사례도 있지만, 작업을 간단한 프로그램으로 표현할 수 있...