The Memory Curse: How Expanded Recall Erodes Cooperative Intent in LLM Agents

📄 arXiv: 2605.08060v1 📥 PDF

作者: Jiayuan Liu, Tianqin Li, Shiyi Du, Xin Luo, Haoxuan Zeng, Emanuel Tewolde, Tai Sing Lee, Tonghan Wang, Carl Kingsford, Vincent Conitzer

分类: cs.CL, cs.AI, cs.GT, cs.MA

发布日期: 2026-05-08


💡 一句话要点

揭示大模型“记忆诅咒”:长上下文窗口如何削弱多智能体协作意图

🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 多智能体系统 长上下文窗口 博弈论 思维链推理 认知建模 智能体协作

📋 核心要点

  1. 长上下文窗口的扩展并未如预期般提升智能体协作,反而因引入冗余历史信息导致协作意图的系统性崩溃。
  2. 研究通过词汇分析与认知探针实验,证实记忆内容诱发的推理模式改变是导致协作衰减的核心驱动力。
  3. 实验表明,通过针对性微调前瞻性推理轨迹或优化思维链过程,可有效缓解记忆诅咒并提升协作稳定性。

📝 摘要(中文)

上下文窗口的扩展常被视为大语言模型(LLM)能力的直接升级,但本研究发现其在多智能体社会困境中会系统性失效。通过对7种LLM在4类博弈中超过500轮的测试,研究发现扩展可访问历史记录在28种模型-博弈设置中的18种里导致协作水平下降,这一现象被称为“记忆诅咒”。研究通过三项分析揭示了其潜在机制:首先,对37.8万条推理轨迹的词汇分析表明,协作崩溃源于前瞻性意图的侵蚀而非偏执增加;通过LoRA微调前瞻性推理轨迹可缓解该衰减。其次,记忆清洗实验证明触发因素是记忆内容而非单纯的长度。最后,消融思维链(CoT)推理显示,过度审慎反而加剧了记忆诅咒。研究表明,记忆是多智能体行为的活跃决定因素,其影响取决于所诱发的推理模式。

🔬 方法详解

问题定义:论文旨在解决LLM在多智能体博弈中,随着上下文窗口扩展,协作能力反而下降的“记忆诅咒”现象。现有研究通常假设长上下文能提供更全面的信息,但忽略了长历史记录可能干扰模型决策逻辑的负面效应。

核心思路:论文提出记忆内容而非长度是导致协作崩溃的关键。通过分析推理轨迹,发现长记忆削弱了模型的前瞻性意图(Forward-looking intent),而非导致了所谓的“偏执”。因此,通过干预推理模式或清洗记忆内容,可以重构协作行为。

技术框架:研究采用多智能体博弈框架,通过对比不同长度的上下文窗口表现,结合词汇分析(Lexical Analysis)量化推理轨迹特征。利用LoRA微调技术作为认知探针,训练模型专注于前瞻性推理,并对比消融思维链(CoT)前后的行为变化。

关键创新:首次定义并量化了“记忆诅咒”现象,证明了长记忆对多智能体协作的负面影响。创新性地使用LoRA微调作为认知探针,验证了前瞻性意图在维持协作中的核心作用,并揭示了CoT在特定场景下可能产生反作用的悖论。

关键设计:实验中采用了“记忆清洗(Memory Sanitization)”技术,在保持提示词长度不变的前提下,将历史记录替换为合成的协作记录,从而解耦了长度与内容的影响。此外,通过对37.8万条推理轨迹的深度挖掘,建立了记忆内容与协作意图之间的因果关联。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究覆盖7种主流LLM与4类博弈场景,通过500轮实验证实了在64%的测试设置中,长记忆导致协作崩溃。通过LoRA微调前瞻性推理轨迹,实现了协作能力的显著恢复,且该方法在不同博弈间具有零样本迁移能力,证明了该机制的普适性与鲁棒性。

🎯 应用场景

该研究对多智能体系统(MAS)的设计具有重要指导意义,特别是在金融交易、自动驾驶协同及复杂谈判等需要长期协作的场景中。它提醒开发者在构建智能体时,不能盲目追求上下文长度,而应关注记忆内容对推理逻辑的潜在干扰,并针对性地优化智能体的决策推理模式。

📄 摘要(原文)

Context window expansion is often treated as a straightforward capability upgrade for LLMs, but we find it systematically fails in multi-agent social dilemmas. Across 7 LLMs and 4 games over 500 rounds, expanding accessible history degrades cooperation in 18 of 28 model--game settings, a pattern we term the memory curse. We isolate the underlying mechanism through three analyses. First, lexical analysis of 378,000 reasoning traces associates this breakdown with eroding forward-looking intent rather than rising paranoia. We validate this using targeted fine-tuning as a cognitive probe: a LoRA adapter trained exclusively on forward-looking traces mitigates the decay and transfers zero-shot to distinct games. Second, memory sanitization holds prompt length fixed while replacing visible history with synthetic cooperative records, which restores cooperation substantially, proving the trigger is memory content, not length alone. Finally, ablating explicit Chain-of-Thought reasoning often reduces the collapse, showing that deliberation paradoxically amplifies the memory curse. Together, these results recast memory as an active determinant of multi-agent behavior: longer recall can either destabilize or support cooperation depending on the reasoning patterns it elicits.