{"title":"Useful Memories Become Faulty When Continuously Updated by LLMs ","url":"https://hugo-blog-static-site.haxlys.workers.dev/posts/faulty-memory-summary/","section":"posts","date":"2026-05-13T13:40:29+09:00","lastmod":"2026-05-13T13:40:29+09:00","description":"LLM 에이전트가 경험을 텍스트 메모리로 반복 재작성할수록 성능이 떨어질 수 있다는 Dylan Zhang의 'Faulty Memory' 핵심 결과를 정리합니다.","summary":"LLM 에이전트 메모리의 정석처럼 여겨졌던 \u0026ldquo;경험 정리 → 텍스트 저장 → 반복 재작성\u0026rdquo; 루프가 실제로는 자기개선을 보장하지 않는다는 문제 제기입니다. 이 글은 Dylan Zhang의 **\u0026ldquo;Useful memories become faulty when continuously updated by LLMs\u0026rdquo;**를 빠르게 파악하려는 분들을 위한 정리입니다.\nTL;DR 요약 핵심 결과: GPT-5.4가 ARC-AGI에서 메모리 없이 100% 풀던 문제군이, 정답 기반 통합(consolidation) 후 **54%**까지 하락. 중요 포인트: 같은 데이터여도 업데이트 스케줄이 달라지면 메모리가 달라지고 성능도 달라짐(특히 Stream가 최악). 실패 원인 3가지: 잘못된 묶기(misgrouping), 과잉 일반화/간섭(interference), 반복 재작성에 따른 과적합(overfit). 실무 시사점: \u0026quot; 메모리 누적\u0026quot;보다 선별된 raw episodic evidence 보존이 더 안정적일 수 있음. 원문: https://dylanzsz.github.io/faulty-memory/\n","content":"LLM 에이전트 메모리의 정석처럼 여겨졌던 \u0026ldquo;경험 정리 → 텍스트 저장 → 반복 재작성\u0026rdquo; 루프가 실제로는 자기개선을 보장하지 않는다는 문제 제기입니다. 이 글은 Dylan Zhang의 **\u0026ldquo;Useful memories become faulty when continuously updated by LLMs\u0026rdquo;**를 빠르게 파악하려는 분들을 위한 정리입니다.\nTL;DR 요약 핵심 결과: GPT-5.4가 ARC-AGI에서 메모리 없이 100% 풀던 문제군이, 정답 기반 통합(consolidation) 후 **54%**까지 하락. 중요 포인트: 같은 데이터여도 업데이트 스케줄이 달라지면 메모리가 달라지고 성능도 달라짐(특히 Stream가 최악). 실패 원인 3가지: 잘못된 묶기(misgrouping), 과잉 일반화/간섭(interference), 반복 재작성에 따른 과적합(overfit). 실무 시사점: \u0026quot; 메모리 누적\u0026quot;보다 선별된 raw episodic evidence 보존이 더 안정적일 수 있음. 원문: https://dylanzsz.github.io/faulty-memory/\n무엇이 문제였나 저자는 \u0026ldquo;메모리 업데이트가 많아질수록 성능이 좋아진다\u0026quot;는 직관을 반박합니다. 5개 에이전트 벤치마크(ALFWorld, ScienceWorld, WebShop, AppWorld, Mind2Web)와 ARC-AGI 기반 스트림 실험에서, 메모리 통합이 오히려 성능을 깎는 사례를 반복 관찰했습니다.\n특히 ARC-AGI에서는 이미 맞힌 문제를 다시 틀리는 역행(regression) 이 명확했습니다.\n왜 망가지는가: 3가지 메커니즘 Misgrouping (오분류 통합)\n서로 다른 문제 계열 에피소드를 한 메모리로 합쳐 \u0026ldquo;실제로 없는 하이브리드 규칙\u0026quot;을 만들어냅니다.\nInterference (간섭)\n누적 추상화가 적용 조건을 지워버려, 부분적으로만 맞는 규칙이 광범위한 규칙처럼 남습니다.\nOverfit (과적합)\n비슷한 데이터만 반복 통합하면 전략이 아니라 표면 패턴을 외운 메모리가 되어, 근접 변형 문제에서 붕괴합니다.\n중요한 반전: 데이터가 아니라 재작성 단계 문제 동일한 trajectory 풀을 두고도 통합 스케줄(Static-Group, Static-All, Stream)만 바꿨을 때 메모리와 점수가 크게 달라졌습니다. 즉 실패 원인은 \u0026ldquo;데이터가 나빠서\u0026quot;가 아니라 재작성(consolidation) 연산 자체의 손실성에 가깝다는 주장입니다.\n실무에 주는 메시지 메모리 시스템을 \u0026ldquo;무조건 누적\u0026quot;으로 설계하지 말고, 업데이트 게이팅(언제/무엇을 통합할지)부터 넣어야 합니다. 추상화 메모리 하나로 모든 걸 덮기보다, raw episode를 선별 보존하고 필요 시만 하는 하이브리드가 유리할 수 있습니다. 온라인/스트리밍 환경일수록 \u0026ldquo;초기 정리 앵커 오류\u0026quot;가 누적되므로, 정기적 리셋·재분할·검증 루프가 필요합니다. 한 줄 결론 \u0026ldquo;메모리는 많을수록 좋다\u0026quot;가 아니라, \u0026ldquo;잘 지우고, 잘 남기고, 덜 재작성하는 메모리\u0026quot;가 더 낫다는 것이 이 글의 핵심입니다.\n","wordCount":279,"tags":["LLM","Agent Memory","Continual Learning","ARC-AGI","ScienceWorld","WebShop"],"categories":["AI"],"frameworks":["Continual Learning","Memory Consolidation"],"mental_models":["Lossy Compression","Interference"],"philosophy_type":"epistemology","schema_type":"TechArticle","actionable":true,"priority":"high","key_points":["ARC-AGI 스트림에서 GPT-5.4는 메모리 없이 100% 풀던 19개 문제 정확도가, 정답 기반 메모리 재작성 후 54%까지 하락했다.","동일한 trajectory 풀에서도 통합 스케줄(Static-Group/Static-All/Stream)에 따라 메모리 품질과 최종 점수가 크게 갈렸다.","실패 메커니즘은 misgrouping, interference, overfit 세 가지로 정리되며, 문제는 데이터보다 '재작성 과정'에 있다.","선별된 raw episodic memory만 유지하고 과도한 추상화를 끄는 방식이 실험군 통합기(consolidator) 대비 동급 이상 성능을 보였다."],"related":["posts/agents-cant-choose-structure-flexibility","posts/ai-knowledge-layer","posts/anatomy-of-an-agent-harness"]}