Show GN: Brain-AI Memory – 장기 실행 LLM 에이전트의 메모리 실패를 진단하는 오픈 아키텍처

2 hours ago 5

에이전트가 오래된 기억을 사용하거나, 이미 기록한 것을 다시 묻거나, 규칙을 무시하거나, fallback 절차를 중간에 포기하는 문제를 모두 “retrieval 문제”로 보면 원인을 찾기 어렵습니다.
Brain-AI Memory는 RAG, hook, guard, harness, loop를 새 이름으로 부르는 프로젝트가 아닙니다. 이들을 episodic·semantic memory, procedural rule·execution, numerical state, routing, input gate로 구분하고 각각의 실패 조건과 lifecycle을 연결합니다.
몇 달간 실제 multi-project agent system에서 사용한 구조를 clean-room 방식으로 공개했습니다. 60초 실행 예제, 재사용 가능한 hook과 memory template, 운영 근거, 500문항 LongMemEval-S retrieval 결과를 포함합니다.
Benchmark의 부정적 결과도 그대로 공개했습니다. 96-keyword pointer는 indexed text를 93% 줄였지만 recall@3는 full BM25의 86.1%에서 71.0%로 낮아졌습니다.
특히 실제 agent failure가 이 component mapping에 잘 들어맞는지, 어디에서 맞지 않는지에 대한 피드백을 받고 싶습니다.

Read Entire Article