MemFail Paper review
메모리 시스템을 요약·저장·검색 세 연산으로 나눠서 틀린 답이 어느 단계에서 나왔는지 가려내는 진단 벤치마크. 검색 개수나 내부 모델을 키워도 성능이 잘 안 오른다.
Recent posts
LongMemEval-V2 Paper review
V1이 사용자 이력을 물었다면 V2는 환경 경험을 묻는다. 웹 에이전트가 숙련된 동료가 되는가를 재는 벤치마크, 최대 1억 1500만 토큰.
MemMachine Paper review
원문을 그대로 보관하고 LLM 추출을 최소화한다. 저장 구조보다 검색 쪽을 손보는 게 효과가 크다는 걸 6차원 ablation으로 보인 논문.
Multi-Layered Memory Paper review
working·episodic·semantic 세 계층을 나누고 하나씩 떼어보는 ablation. semantic 계층을 빼면 6기간 보존율이 가장 크게 떨어지고, 보존 손실을 빼면 거짓 기억률이 가장 크게 오른다.
AMV-L Paper review
TTL은 항목의 수명을 제한하지 계산량을 제한하지 않는다. 검색 후보군 크기를 직접 묶어 2초 초과 요청을 13.8%에서 0.007%로 줄인 논문.
Anatomy of Agentic Memory Paper review
지금까지의 메모리 벤치마크 수치를 어떻게 읽어야 하는가. 벤치마크 포화, F1과 의미의 어긋남, 백본 의존, 그리고 agency tax를 실측한 논문.
SYNAPSE Paper review
벡터 유사도 대신 활성 확산으로 관련성을 만든다. 측면 억제와 시간 감쇠로 적대적 질의를 96.6 F1로 거절하고, 질의당 814토큰만 쓴다.
Memory in the Age of AI Agents Paper review
장기기억·단기기억이라는 이분법으로는 지금의 에이전트 메모리를 담을 수 없다. Forms·Functions·Dynamics 세 축으로 다시 짠 107쪽짜리 서베이.
What Deserves Memory Paper review
무엇을 남길지를 중요도 점수가 아니라 ‘예측 실패’로 정한다. 기존 지식으로 예상한 것과 실제가 어긋난 만큼만 기억으로 증류하는 프레임워크.
Experience-Following Paper review
메모리에 무엇을 넣고 무엇을 지우는지가 에이전트 행동을 바꾼다. 전부 넣으면 오히려 고정 메모리보다 못하다는 걸 네 에이전트로 실증한 논문.