Memorilla: LLM을 위한 잠재 의미 메모리

MEMORILLA는 전체 문서 모음의 임베딩에서 질의에 필요한 정보를 읽어, 가중치가 고정된 LLM에 16개 메모리 토큰으로 전달하는 시스템임 문서는 한 번 인코딩해 재사용하고, 학습 가능한 메모리 모듈이 질의에 따라 모든 문서 임베딩에 어텐션을 적용함 개인화, 장문 이해, 지식 집약적 질의응답 벤치마크에서 Mem0와 MemoRAG 등을 포함한 비교군 중 평균 성능이 가장 높았음 단일 H100에서 문서 512개를 처리한 실험에서는 전체 응답 생성 시간이 전체 문맥 방식의 19.9초에서 0.74초로 줄어, 약 27분의 1 수준이 됨 TextWorld에서는 매 턴 경험을 메모리에 추가해 이미 탐색한 방 사이를 반복 이동하는 경향을 줄였으며, 평균 성공률이 전체 이력 기반 문맥 내 학습의 18.6%에서 24.2% 로 높아짐 고정된 LLM에 누적 지식을 전달하는 문제 개인 비서는 수개월간의 대화에서 사용자 이력을 기억해야 하고, 질의응답 시스템은 문맥 창보다 긴 문서를 다뤄야 하며, 에이전트는 이전 관찰을 바탕으로 행동해야 함 가중치가 고정된 LLM은 매개변수에 없는 정보를 문맥으로만 이용할 수 있음. 메모리 시스템은 누적 정보를 인코딩하고 영구 저장한 뒤, 각 질의에 필요한 정보를 문맥에 전달함 핵심 과제는 짧은 문맥을 유지하면서도 계속 커지는 전체 지식 모음에 접근하도록 하는 것임 기존 메모리 방식과의 차이 MemGPT, Mem0, A-MEM은 과거 상호작용을 요약이나 구조화된 기록으로 관리하고, MemoRAG는 압축된 전역 메모리로 검색을 안내함 최종적으로는 선택한 텍스트를 문맥에 넣으므로, 선택 과정의 한계를 그대로 가짐 ICAE, IC-Former, AutoCompressors, ComMer는 문서를 LLM 임베딩 공간의 소수 소프트 토큰으로 압축하지만, 질의 없이 압축하므로 동일한 토큰이 모든 질문에 대응해야 함 xRAG는 질의 관련성을 반영하지만, 검색된 문서 하나만 압축함 LongMem, MemoryLLM, M+, Cartridges는 모델별 은닉 상태나 키-값 상태를 저장함 메모리가 특정 모델에 결합되며, LLM이나 보조 네트워크를 학습하거나 문서 집합별 별도 캐시를 학습해야 함 MEMORILLA는 문서 임베딩에서 질의 관련 정보를 직접 읽어 고정된 LLM의 입력 임베딩 공간으로 전달함 일부 문서를 텍스트로 넣는 검색 방식이나 질의와 무관하게 문서를 압축하는 방식과 구별됨 LLM을 변경하지 않고 기존 ...