메모리에서 출발해 트랜스포머를 발명할 수도 있었다

선형 계층, MLP, 셀프 어텐션을 모두 키와 값의 쌍을 저장하고 유사도로 검색하는 연상 메모리로 볼 수 있으며, 회상 과정의 간섭을 줄이는 방식으로 각 구조를 유도할 수 있음 메모리 용량을 다른 기억의 간섭이 목표 신호만큼 커지기 전까지 저장할 수 있는 기억 수로 정의하면, 무작위 키와 값을 쓰는 외적 기반 선형 저장소의 용량은 키 차원 수 정도임 비선형 활성화는 유사도가 낮은 키의 기여를 억제해 용량을 높이며, 64차원 키 실험에서 선형 저장소는 약 64개, 제곱 ReLU MLP는 약 2,700개의 기억을 저장함 셀프 어텐션은 유사도에 지수함수를 적용하고 정규화하는 비모수적 메모리로, 같은 실험 조건에서 용량은 약 120만 개이며 문맥 길이에 따라 어텐션을 더 날카롭게 만들면 더 많은 기억을 구분할 수 있음 이 수치는 단일 계층의 무작위 벡터 회상에 대한 추정치로, 실제 학습 데이터나 모델 전체의 지식 저장량을 직접 측정한 결과는 아님 연상 메모리와 용량의 정의 Astra가 이동 중에 Dune: Imperium의 규칙을 다시 알려준 경험은 언어 모델이 얼마나 많은 정보를 기억하고, 얼마나 저장할 수 있는지에 대한 질문으로 이어짐 연상 메모리(associative memory) 는 유사성을 기준으로 기억을 찾는 함수 $f$이며, 기억 하나는 키 $k_i\in\mathbb{R}^{d_k}$와 값 $v_i\in\mathbb{R}^{d_v}$의 쌍임 입력 $x$로 질의하면 $f(x)$를 반환하며, 좋은 저장소는 $k_i$ 또는 그와 비슷한 벡터를 입력받았을 때 $v_i$를 회상함 저장한 기억이 많아질수록 다른 기억들이 회상을 방해하므로, 핵심 지표는 간섭 대 신호 비율임 간섭의 크기가 목표 신호와 같아지는 시점의 기억 수를 용량으로 정의함 이하 추정은 주로 무작위 키와 값, 길이가 비슷한 값 벡터, 저장된 키를 그대로 사용하는 질의를 전제로 함 외적 기반 선형 저장소 가장 단순한 저장소는 각 키와 값의 외적을 더한 행렬 $W=\sum_i v_i k_i^\top=V^\top K$임 새 기억은 $W$에 $vk^\top$를 더해 저장함 질의는 $f(x)=Wx=\sum_i v_i(k_i^\top x)$이며, 키와 질의의 유사도로 값들을 가중합함 입력과 출력이 함께 활성화될 때 가중치를 강화한다는 점에서 이런 누적을 헤브 학습(Hebbian learning) 이라고도 부름 선형 어텐션의 상태와 fast weights에도 이...