What Does a Harness Buy Paper review
같은 모델을 Claude Code, mini-SWE-agent, OpenCode 세 하네스에 넣고 SWE-bench Verified 를 돌린 뒤, 같은 설정을 한 번 더 돌려 잡음 크기를 쟀다. 하네스를 바꿔서 뒤집히는 과제 비율과 그냥 다시 돌려서 뒤집히는 비율이 둘 다 13% ...
Recent posts
EFRE Paper review
프롬프트 최적화를 과제가 순서대로 들어오는 continual learning 에 그대로 쓰면 앞 과제를 잊는다. 프롬프트 하나 대신 프롬프트 여러 개를 두고, 갱신이 과거 성공 사례의 점수를 90% 이상 지킬 때만 받아들이면 FinQA 하락이 25.10점에서 1.56점으로 줄어든다...
Dynamic Concurrency Paper review
Codex·Claude Code·Kimi Code 에 내장된 서브에이전트 병렬 실행을 켜고 끄며 354개 코딩 과제에서 비교한 논문. 토큰은 1.41~3.31배 늘지만 통과율은 -11.9점에서 +2.3점 사이에서 움직이고, 804건의 실패를 28개 패턴으로 분류했다.
BEMULA Paper review
사용자가 ‘그 정보 잊어줘’라고 하면 에이전트 메모리는 정말 지우는가. 50개 대화에 135개 forget request 를 심고 대조군 버전과 짝지어 잰 벤치마크인데, Mem0·A-MEM·LangMem·LightMem·SimpleMem·naive RAG·full-context 전...
ARIA Paper review
싼 모델이 일을 하다가 언제 비싼 모델에게 물어볼지를 24칸짜리 Q-table 로 배운다. 자기 확신이 아니라 워크플로 신호만 보고 결정하는데, SWE-bench 에서 executor 18% 와 advisor 62% 사이의 68% 를 advisor 비용의 절반 이하로 회수했다. 그...
RBC Paper review
에이전트가 스스로 쓴 플레이북의 어떤 교훈을 남길지를 에이전트의 판단 대신 무작위 실험으로 정한다. 같은 절차로 키운 플레이북이 도움이 되기도, 플레이북 없는 것보다 69.6점 낮기도 한데, 에이전트의 자체 태그는 그 해를 못 걸러냈다는 논문.
Harness Benefit Paper review
스킬·프롬프트·메모리를 고쳐 쓰는 자기진화 에이전트에서, 갱신을 잘 만드는 능력과 갱신으로 득을 보는 능력은 다른 것이었다. 9B 모델이 쓴 스킬도 Opus 4.6이 쓴 스킬만큼 효과가 있고, 득은 중간 체급 모델이 가장 많이 본다는 걸 7개 모델 x 3개 벤치마크로 잰 논문.
GenericAgent Paper review
도구는 9개만, 상시 노출 메모리는 인덱스만, 검증된 궤적은 SOP 와 코드로. 컨텍스트에 남는 정보의 밀도를 올리면 토큰을 덜 쓰면서 더 많이 푼다는 걸 Claude Code·OpenClaw 와 비교해 보인 에이전트 시스템 보고서.
Claude·ChatGPT 메모리 비교
같은 뼈대, 다른 방식. 대화 중에 항목을 쓰는 Claude와 백그라운드에서 합성하는 ChatGPT를 일곱 축으로 비교하고, 논문 21편에서 겹친 결론과 맞춰봤다.
ChatGPT 메모리 분석
저장된 메모리에서 Dreaming V3까지. 백그라운드 프로세스가 여러 대화를 합쳐 메모리 상태를 만들고, 사용자에게는 서술형 요약과 응답 아래 출처로 보여준다.