LLM 에이전트 메모리의 정석처럼 여겨졌던 “경험 정리 → 텍스트 저장 → 반복 재작성” 루프가 실제로는 자기개선을 보장하지 않는다는 문제 제기입니다. 이 글은 Dylan Zhang의 **“Useful memories become faulty when continuously updated by LLMs”**를 빠르게 파악하려는 분들을 위한 정리입니다.

원문: https://dylanzsz.github.io/faulty-memory/

무엇이 문제였나

저자는 “메모리 업데이트가 많아질수록 성능이 좋아진다"는 직관을 반박합니다. 5개 에이전트 벤치마크(ALFWorld, ScienceWorld, WebShop, AppWorld, Mind2Web)와 ARC-AGI 기반 스트림 실험에서, 메모리 통합이 오히려 성능을 깎는 사례를 반복 관찰했습니다.

특히 ARC-AGI에서는 이미 맞힌 문제를 다시 틀리는 역행(regression) 이 명확했습니다.

왜 망가지는가: 3가지 메커니즘

  1. Misgrouping (오분류 통합)
    서로 다른 문제 계열 에피소드를 한 메모리로 합쳐 “실제로 없는 하이브리드 규칙"을 만들어냅니다.

  2. Interference (간섭)
    누적 추상화가 적용 조건을 지워버려, 부분적으로만 맞는 규칙이 광범위한 규칙처럼 남습니다.

  3. Overfit (과적합)
    비슷한 데이터만 반복 통합하면 전략이 아니라 표면 패턴을 외운 메모리가 되어, 근접 변형 문제에서 붕괴합니다.

중요한 반전: 데이터가 아니라 재작성 단계 문제

동일한 trajectory 풀을 두고도 통합 스케줄(Static-Group, Static-All, Stream)만 바꿨을 때 메모리와 점수가 크게 달라졌습니다. 즉 실패 원인은 “데이터가 나빠서"가 아니라 재작성(consolidation) 연산 자체의 손실성에 가깝다는 주장입니다.

실무에 주는 메시지

  • 메모리 시스템을 “무조건 누적"으로 설계하지 말고, 업데이트 게이팅(언제/무엇을 통합할지)부터 넣어야 합니다.
  • 추상화 메모리 하나로 모든 걸 덮기보다, raw episode를 선별 보존하고 필요 시만 하는 하이브리드가 유리할 수 있습니다.
  • 온라인/스트리밍 환경일수록 “초기 정리 앵커 오류"가 누적되므로, 정기적 리셋·재분할·검증 루프가 필요합니다.

한 줄 결론

“메모리는 많을수록 좋다"가 아니라, “잘 지우고, 잘 남기고, 덜 재작성하는 메모리"가 더 낫다는 것이 이 글의 핵심입니다.