LLM Agent Survey Paper review

A Survey on Large Language Model based Autonomous Agents

https://arxiv.org/abs/2308.11432

CoALA 리뷰에서 “통념의 3분류”, “empirical survey”라고 불렀던 정리의 원류 중 하나가 이 논문이다. CoALA가 인지 아키텍처에서 가져온 이론이라면, 이 서베이는 2021~2023년에 쏟아진 에이전트 연구를 전부 읽고 귀납적으로 정리한 카탈로그다. 같은 대상을 반대 방향에서 정리한 두 논문을 나란히 읽으면 시야가 완성된다.

Introduction

이전의 자율 에이전트 연구(강화학습 계열)는 고립된 환경에서 제한된 지식으로 정책을 학습했다. LLM 기반 에이전트는 출발점이 다르다. 웹 지식을 통째로 가진 모델이 중심 제어기가 되므로, 도메인 데이터로 학습하지 않아도 행동할 수 있고 자연어로 상호작용할 수 있다.

2021년 WebGPT에서 시작해 2023년에 논문이 폭발하는 그래프다. 우리가 리뷰해온 Toolformer(2023-2), Generative Agent(2023-4), Voyager(2023-5), ToT(2023-5)가 전부 이 타임라인 위에 있다. 이 폭발을 정리하겠다는 것이 논문의 목표다.

통합 프레임워크: 4모듈

서베이의 정리는 에이전트를 4개 모듈로 나눈다. Profile(누구인가) → Memory(무엇을 기억하는가) → Planning(어떻게 계획하는가) → Action(무엇을 하는가). Profile이 Memory와 Planning에 영향을 주고, 셋이 모여 Action을 결정한다.

CoALA와 바로 비교되는 지점이 있다. CoALA에는 Profile에 해당하는 모듈이 없다. 과제를 푸는 에이전트 관점에서는 역할 설정이 부차적이지만, 사람의 행동을 시뮬레이션하는 계열(Generative Agents 등)에서는 에이전트가 누구인지가 출발점이다. 서베이가 시뮬레이션 계열까지 포괄하려다 보니 모듈이 하나 더 필요했던 것이다.

Profiling Module

에이전트의 역할을 정하는 모듈이다. 나이·직업 같은 인구통계 정보, 성격, 다른 에이전트와의 관계가 들어가고, 보통 프롬프트에 쓰여서 LLM의 행동을 바꾼다. 만드는 방법은 셋이다. 수작업(스몰빌의 자연어 한 문단), LLM 생성(시드 몇 개로 대량 생성), 데이터셋 정렬(실제 인구 분포에 맞춤).

Memory Module

• 구조: 단기 기억만 쓰는 unified와 단기+장기를 나누는 hybrid
• 형식: 자연어, 임베딩, DB, 구조화 리스트
• 연산: 읽기, 쓰기, 반성

읽기에서 서베이는 기존 연구들을 하나의 수식으로 종합한다.

\[m^* = \arg\max_{m \in M} \left( \alpha \cdot s^{rec}(q,m) + \beta \cdot s^{rel}(q,m) + \gamma \cdot s^{imp}(m) \right)\]

recency, relevance, importance의 가중합. 스몰빌 리뷰에서 본 3점수 회상이 일반형으로 승격된 것이다. 쓰기에서는 중복 기억 처리와 저장 한도 초과라는 실무 문제를 짚고, 반성은 Generative Agents와 Reflexion의 그 반성이다.

Planning Module

계획을 피드백 유무로 나눈 것이 이 서베이의 분류다.

• 피드백 없는 계획: 단일 경로 추론(CoT — 한 줄로 쭉), 다중 경로 추론(CoT-SC, ToT — 트리로 탐색), 외부 플래너(LLM이 계획을 형식 언어로 번역하고 고전 플래너가 풂)
• 피드백 있는 계획: 환경 피드백(ReAct, Voyager), 사람 피드백, 모델 피드백(자기 비평)

앞서 ToT가 왜 에이전트 논문들과 나란히 놓이는지 CoALA에서는 의사결정 축으로 설명했는데, 이 서베이에서는 “피드백 없는 다중 경로 계획”이라는 칸으로 설명된다. 같은 논문이 두 정리에서 다른 칸에 들어가는 것을 보는 재미가 있다.

Action Module

행동 모듈은 질문 4개로 정리된다. 무엇을 위해 행동하는가(과제 완수, 탐색, 소통), 행동을 어떻게 만드는가(기억 회상, 계획 따르기), 무엇을 할 수 있는가(도구, 모델 자체 지식), 행동의 결과는 무엇인가(환경 변화, 새 행동 유발, 내부 상태 변화).

능력은 어떻게 얻는가: 세 시대

프레임워크 밖에서 이 그림이 서베이의 남는 장사다. 모델 능력을 얻는 전략이 시대별로 쌓여왔다는 정리다.

• 머신러닝 시대: 파라미터 학습이 전부
• LLM 시대: 파라미터 학습 + 프롬프트 엔지니어링
• 에이전트 시대: 여기에 mechanism engineering이 추가된다. 파라미터도 프롬프트도 아닌, 모듈과 동작 규칙의 설계로 능력을 만드는 것이다. 시행착오 루프(Voyager의 반복 개선), 반성 축적(Reflexion), 경험의 자기 학습이 전부 여기 속한다

이 시리즈에서 리뷰한 논문들이 전부 mechanism engineering의 사례였던 셈이다. 가중치를 안 바꾸고 에이전트를 강하게 만드는 방법의 총칭을 이 서베이가 붙여줬다.

응용과 평가

응용은 사회과학(사회 시뮬레이션, 심리, 법), 자연과학(문서 관리, 실험 보조, 교육), 공학(SW 개발, 로봇, 산업 자동화)으로 정리된다. 평가는 주관 평가(사람 채점, 튜링 테스트류)와 객관 평가(메트릭, 프로토콜, 벤치마크)로 나뉜다. 스몰빌의 believability 인터뷰가 전자, Voyager의 테크 트리가 후자다.

Challenges

서베이가 꼽는 미해결 과제 6개는 지금 봐도 대부분 유효하다.

• Role-playing: LLM이 학습 데이터에 드문 역할(특정 전문가, 소수 성향)은 잘 연기하지 못한다
• Generalized human alignment: 시뮬레이션 목적이라면 나쁜 인간까지 정확히 시뮬레이션해야 하는데, 정렬된 모델은 그걸 거부한다. 정렬이 시뮬레이션의 장애가 되는 역설이다
• Prompt robustness: 모듈이 늘수록 프롬프트가 서로 얽혀서 사소한 수정에도 전체가 흔들린다
• Hallucination: 에이전트는 환각이 행동으로 이어지므로 피해가 커진다
• Knowledge boundary: 시뮬레이션에서는 모델이 너무 많이 아는 것이 문제다. 일반인을 연기해야 하는데 웹 전체를 아는 사람처럼 군다
• Efficiency: 행동 하나에 LLM 호출이 여러 번이라 느리고 비싸다

alignment와 knowledge boundary 항목은 “모델이 뛰어날수록 시뮬레이션은 어려워진다”는 방향의 문제 제기라서, 성능 향상이 모든 문제를 풀지는 않는다는 것을 보여준다.

지금 관점: 두 정리의 역할 분담

이 서베이(2023-8)와 CoALA(2023-9)는 한 달 차이로 나온 같은 분야의 정리다. 역할이 다르다. 이 서베이는 무엇이 있었는지를 빠짐없이 모은 귀납적 카탈로그고, CoALA는 어떻게 조직해야 하는지를 제시한 연역적 이론이다. 두 정리를 같은 항목끼리 붙여보면 차이가 명확하다.

질문	Wang 서베이	CoALA
어떻게 만든 정리인가	논문 수백 편을 읽고 공통점을 묶었다	인지과학의 오래된 이론을 가져와 적용했다
에이전트를 몇 조각으로 나누나	4개 — 역할, 기억, 계획, 행동	3개 — 기억, 행동, 결정
역할(페르소나)	첫 번째 모듈로 중요하게 다룬다	없다
학습	따로 다루지 않고 여기저기 흩어져 있다	행동의 한 종류로 정식으로 다룬다
LLM은 무엇인가	에이전트의 두뇌	여러 부품 중 하나
언제 꺼내 쓰나	구현 옵션을 고를 때의 선택지 목록	구조를 뜯어볼 때의 질문지

표에서 기억할 것은 두 칸이다. 서베이는 역할을 중요하게 두고 학습을 흩어놓았고, CoALA는 역할을 빼고 학습을 정식으로 올렸다. 사람을 시뮬레이션하는 관점과 과제를 수행하는 관점의 차이가 그대로 반영된 것이다. 서베이의 4모듈 어휘(Profile·Memory·Planning·Action)는 이후 강의, 문서, 프레임워크 설명이 따라가는 사실상의 표준이 됐다. CoALA 리뷰에서 “통념”이라고 부른 것의 상당 부분이 여기서 왔다.

실무에서의 쓰임도 다르다. 특정 모듈의 구현 옵션을 고를 때(기억을 어떤 형식으로 저장할까, 계획에 피드백을 넣을까)는 이 서베이의 분류가 선택지 목록이 되고, 에이전트 전체 구조를 따질 때는 CoALA의 질문이 낫다. 카탈로그와 이론은 서로를 대체하지 않는다.

Conclusion

2021년부터 2023년까지의 LLM 에이전트 연구를 Profile·Memory·Planning·Action 4모듈로 정리하고, 응용과 평가까지 한 장의 지형도로 만들었다. 개별 기법의 발명이 아니라 어휘의 정리가 기여인 논문이고, 그 어휘는 실제로 표준이 됐다.

능력 획득의 세 시대 구분도 남는다. 파라미터 학습, 프롬프트 엔지니어링, 그리고 mechanism engineering. 이 시리즈에서 리뷰한 논문들은 세 번째 시대의 초기 기록이다.