Show HN: LLM 어텐션 시각화

LLM이 토큰을 생성할 때 어떤 이전 토큰을 참조했는지 살펴보는 도구로, 생성된 토큰을 누르거나 마우스를 올리면 참조 정보를 불투명도로 표시함 어텐션 가중치에 값 벡터의 크기를 반영하고 모든 헤드와 레이어의 정보를 합산해, 이전 토큰마다 하나의 수치로 보여줌 예제에서 주소·날짜의 원문 복사와 서로 다른 문구의 정보 결합을 관찰할 수 있으며, 6억 매개변수 모델이 의도한 수정 부분을 제외한 JavaScript 함수를 그대로 재현하는 사례도 있음 React와 Transformers.js로 구현했으며, 내부 값을 추적하는 별도 생성 루프와 내부 값을 출력하도록 수정한 ONNX 모델을 사용함 토큰별 단일 수치로 압축하면서 많은 정보를 버린 고도로 단순화된 시각화이므로, 표시된 값을 실제 생성에 미친 영향과 정확히 동일시할 수는 없음 어텐션으로 살펴보는 복사와 정보 결합 Transformer 기반 LLM은 생성 과정에서 모든 이전 토큰의 정보를 참조할 수 있지만, 모든 토큰이 똑같이 영향을 미치면 효과적이지 않아 선택적으로 참조해야 함 시각화에서 생성된 토큰을 누르거나 마우스를 올리면, 해당 토큰과 관련된 이전 토큰들이 강조됨 표시 수치는 어텐션 가중치에 값 벡터의 크기를 반영한 뒤 모든 어텐션 헤드에 걸쳐 집계하고 모든 레이어의 값을 합산해 계산함 이 수치로 이전 토큰의 불투명도를 조절하며, 최댓값은 항상 불투명도 1로 표시하고 나머지는 보간함 이전 토큰마다 수치 하나만 남기므로 많은 정보가 사라지며, 이를 생성에 미친 정확한 ‘영향’으로 해석하기에는 한계가 있음 “Office Move Summary” 예제에서는 그대로 복사된 주소나 날짜에 마우스를 올리면 원본 데이터가 두드러짐 다음 토큰을 확률적으로 예측하더라도 제한된 내부 상태만으로 전체 문자열을 재현하는 것은 아님 모든 이전 토큰에 접근해 복사할 대상을 선택할 수 있으므로 복사 오류 확률이 매우 낮아질 수 있음 “Debugging an Average Function” 예제에서는 6억 매개변수의 작은 모델도 의도한 수정 부분을 제외한 JavaScript 함수 전체를 재현함 다만 문제 자체를 스스로 찾아내지는 못해 힌트가 필요했음 서로 다른 문구의 정보 결합도 관찰할 수 있음 “Office Move Summary”의 “Existing access cards and phone numbers remain”에서 remain은 원문의 “Existing employee ac...