Memory Portability Paper review
모델 교체는 흔한데 메모리 마이그레이션은 아니다. 같은 저장소를 그대로 두고도 에이전트는 잊을 수 있다는 걸 48개 이력으로 통제 측정한 논문.
Posts by categories
Paper review
ReFind Paper review
구조화 메모리의 이득이 정말 구조에서 오는가. 원본 대화 로그를 그대로 두고 BM25 검색만 잘 시켰더니 그래프·트리 기반 시스템을 전부 넘었다는 반대 증거.
What to Keep What to Forget Paper review
KV 캐시 축출, 프롬프트 압축, 상태 압축, 에이전트 메모리 요약. 네 커뮤니티가 각자 풀던 게 사실 하나의 rate-distortion 문제였다는 서베이.
The Past Is Prologue Paper review
메모리 갱신을 ‘배포 결정’으로 다룬다. 후보 갱신을 무조건 받아들이는 대신 옛 메모리와 붙여 보고 나은 쪽을 남기는 플러그인 컨트롤러.
MemFail Paper review
메모리 시스템을 요약·저장·검색 세 연산으로 나눠서 틀린 답이 어느 단계에서 나왔는지 가려내는 진단 벤치마크. 검색 개수나 내부 모델을 키워도 성능이 잘 안 오른다.
LongMemEval-V2 Paper review
V1이 사용자 이력을 물었다면 V2는 환경 경험을 묻는다. 웹 에이전트가 숙련된 동료가 되는가를 재는 벤치마크, 최대 1억 1500만 토큰.
MemMachine Paper review
원문을 그대로 보관하고 LLM 추출을 최소화한다. 저장 구조보다 검색 쪽을 손보는 게 효과가 크다는 걸 6차원 ablation으로 보인 논문.
Multi-Layered Memory Paper review
working·episodic·semantic 세 계층을 나누고 하나씩 떼어보는 ablation. semantic 계층을 빼면 6기간 보존율이 가장 크게 떨어지고, 보존 손실을 빼면 거짓 기억률이 가장 크게 오른다.
AMV-L Paper review
TTL은 항목의 수명을 제한하지 계산량을 제한하지 않는다. 검색 후보군 크기를 직접 묶어 2초 초과 요청을 13.8%에서 0.007%로 줄인 논문.
Anatomy of Agentic Memory Paper review
지금까지의 메모리 벤치마크 수치를 어떻게 읽어야 하는가. 벤치마크 포화, F1과 의미의 어긋남, 백본 의존, 그리고 agency tax를 실측한 논문.
SYNAPSE Paper review
벡터 유사도 대신 활성 확산으로 관련성을 만든다. 측면 억제와 시간 감쇠로 적대적 질의를 96.6 F1로 거절하고, 질의당 814토큰만 쓴다.
Memory in the Age of AI Agents Paper review
장기기억·단기기억이라는 이분법으로는 지금의 에이전트 메모리를 담을 수 없다. Forms·Functions·Dynamics 세 축으로 다시 짠 107쪽짜리 서베이.
What Deserves Memory Paper review
무엇을 남길지를 중요도 점수가 아니라 ‘예측 실패’로 정한다. 기존 지식으로 예상한 것과 실제가 어긋난 만큼만 기억으로 증류하는 프레임워크.
Experience-Following Paper review
메모리에 무엇을 넣고 무엇을 지우는지가 에이전트 행동을 바꾼다. 전부 넣으면 오히려 고정 메모리보다 못하다는 걸 네 에이전트로 실증한 논문.
From Human Memory to AI Memory Paper review
대상·형태·시간 세 축으로 AI 메모리를 8분면에 나눈다. 8개월 뒤에 나온 서베이(Memory in the Age of AI Agents)와 나란히 놓으면 그사이 무엇이 달라졌는지 보인다.
Mem0 Paper review
대화에서 사실을 뽑아 ADD·UPDATE·DELETE·NOOP 중 하나로 반영한다. LOCOMO에서 full-context 대비 p95 지연 91% 감소, 토큰 90% 절감.
A-MEM Paper review
Zettelkasten을 LLM 에이전트에 옮겼다. 새 기억이 들어오면 스스로 링크를 걸고, 그 과정에서 기존 기억의 맥락·키워드·태그까지 고쳐 쓴다.
Zep Paper review
사실을 지우지 않고 무효화한다. 네 개의 타임스탬프로 양시간(bi-temporal)을 모델링해서, 무엇이 언제 참이었는지와 언제 그렇게 알았는지를 함께 남기는 지식그래프.
LongMemEval Paper review
장기기억을 다섯 능력으로 쪼개고, 메모리 설계를 indexing·retrieval·reading 세 단계 네 제어점으로 분해했다. 상용 챗봇이 30% 떨어지는 벤치마크.
HippoRAG Paper review
해마 색인 이론을 RAG에 옮겼다. LLM으로 스키마 없는 지식그래프를 만들고 Personalized PageRank를 돌려 단발 검색으로 다중홉을 푼다.
MemGPT Paper review
컨텍스트 창을 물리 메모리로, 외부 저장소를 디스크로 본다. OS의 가상 메모리 페이징을 LLM에 옮긴 2023년 논문이자 이 계열의 출발점.
LLM Agent Survey Paper review
Profile·Memory·Planning·Action, 에이전트를 4모듈로 나눈 서베이. CoALA가 이론이라면 이 서베이는 2023년까지의 에이전트 연구를 모아 정리한 논문이다.
CoALA Paper review
에이전트를 볼 때 세 가지만 물으면 된다. 무엇을 기억하는가, 무엇을 할 수 있는가, 어떻게 결정하는가. ReAct부터 Voyager까지를 이 세 질문으로 정리한 논문.
Voyager Paper review
마인크래프트에서 스스로 과제를 정하고, 성공한 행동을 코드로 저장해 재사용하는 lifelong learning 에이전트. ReAct와 Reflexion은 여기서 나무 도구도 못 만들었다.
Generative Agents Paper review
LLM 에이전트 25명을 가상 마을에 풀어놓으면 무슨 일이 벌어지는가. 행동의 정확도가 아니라, 기억-회상-반성-계획 구조가 경험에 근거한 믿을 만한 행동을 유지시키는지를 측정한 논문.
Toolformer Paper review
사람 어노테이션 없이 LM이 스스로 도구 사용법을 배운다. ‘이 도구 호출이 다음 토큰 예측을 쉽게 하는가’라는 필터 하나로 학습 데이터를 만든 논문.
Reflexion Paper review
실패를 반성문으로 남겨 다음 시도에 써먹는 에이전트. 가중치 업데이트 없는 ‘말로 하는 강화학습’으로 HumanEval 91%를 찍었다.
ReAct Paper review
지금 LLM Agent들이 도는 루프가 나온 논문. Thought → Action → Observation 루프부터 LangChain create_agent까지 뜯어본다.
Llama Guard paper review
Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations
Proxy tuning Paper review
Proxy-tuning: Tuning Language Models by Proxy
SOLAR Paper review
SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling Paper review
A Survey of Large Language Models 논문 리뷰
A Survey of Large Language Models 논문 리뷰
2021 EMNLP dialog 관련 간단 리뷰
2021 EMNLP 간단 리뷰
PPTOD paper review
Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System
UBAR paper review
UBAR: Towards Fully End-to-End Task-Oriented Dialog System with GPT-2
DSS-DST Paper review
Dual Slot Selector via Local Reliability Verification for Dialogue State Tracking
TripPy + SaCLog Paper review
Preview, Attend and Review: Schema-Aware Curriculum Learning for Multi-Domain Dialog State Tracking
TripPy Paper review
TripPy: A Triple Copy Strategy for Value Independent Neural Dialog State Tracking
Slot-Gate Paper review
Slot-Gated Modeling for Joint Slot Filling and Intent Prediction
Joint learning for intent, slot-filling References 정리
Joint learning for intent, slot-filling
SOLOIST paper review
SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching
Learning Relational Dependency Networks for Relation Extraction paper review
Learning Relational Dependency Networks for Relation Extraction
Language-Independent Discriminative Parsing of Temporal Expressions paper review
Language-Independent Discriminative Parsing of Temporal Expressions
Semi-supervised Named Entity Recognition in noisy-text Paper review
Semi-supervised Named Entity Recognition in noisy-text
NMT Model 정리
Neural Machine Translation
Post-Training References 정리
Post-Training
SimpleTOD Paper review
SimpleTOD: A Simple Language Model for Task-Oriented Dialogue
Study
Agent Memory 논문 21편 회고
MemGPT부터 Memory Portability까지, 에이전트 메모리 연구 3년을 네 시기로 나눠 다시 읽었다. 구조를 쌓던 흐름이 ‘정말 구조가 필요한가’로 돌아오기까지.
[네이버 클로바 스튜디오 X 포텐데이] 참여 후기
[네이버 클로바 스튜디오 X 포텐데이] 참여 후기
효율적인 LLM 학습 전략
효율적인 LLM 학습 전략
ISO standard for dialog act annotation
ISO standard for dialog act annotation
허깅페이스 모델 배포 방법
hugging face model upload
Hidden Markov Models(HMM) 정리
HMM은 Markov chain을 전제로 한 모델
Docker 사용법
Docker 명령어 정리, 세팅방법
TOD, DST
Task-Oriented Dialog system & Dialog State Tracking
파이썬 디자인패턴 스터디
1장. 디자인패턴 개요
Error resolution
Deepspeed background process kill
딥스피드 백그라운드 프로세스 죽이는 법
torchtext OSError 해결
torchtext OSError
AttributeError: module ‘torchtext.data’ has no attribute ‘Field’
AttributeError: module ‘torchtext.data’ has no attribute ‘Field’ 해결
Jupyter notebook Error The port 8888 is already in use, trying another port.
Jupyter notebook Error The port 8888 is already in use, trying another port.
Dev Setup
tensorflow GPU 동작확인
tensorflow GPU 동작확인
tensorflow GPU 사용법
텐서플로우 GPU 사용법