CoEM: Empowering Long-Context Reasoning with Commit-on-Evidence Memory

📄 arXiv: 2609.36935v1 📥 PDF

作者: Jingguang Li, Yebo Wu, Zuyi Guo, Kailang Ma, Xianjie Dai, Han Zheng, Benwang Chen, Li Li, Can Rong, Heye Huang

分类: cs.AI, cs.CL

发布日期: 2026-09-29

备注: 38 pages, 13 figures. Code repository: https://github.com/benmagnifico/CoEM

🔗 代码/项目: GITHUB

💡 一句话要点

提出Commit-on-Evidence Memory以解决长上下文推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长上下文推理 记忆管理 强化学习 自然语言处理 大型语言模型

📋 核心要点

  1. 现有方法在处理长上下文时，容易因信息压缩而丢失重要细节，导致推理性能下降。
  2. CoEM通过学习何时将源证据转化为紧凑记忆，保留待处理摘录以便后续上下文澄清其相关性。
  3. 在6400文档的长上下文输入上，CoEM在Qwen3.5-9B模型上比最强的记忆基线提高了10.4-11.4个F1分数。

📝 摘要（中文）

长上下文推理对于复杂和长时间跨度的任务至关重要，但随着上下文长度的增加，大型语言模型的性能会下降。现有方法通过逐块处理输入并在模型上下文中维持有限的文本记忆来应对这一问题。然而，过早的信息压缩可能会丢失对后续推理至关重要的细节。本文提出了Commit-on-Evidence Memory（CoEM），该方法学习何时将源证据转换为紧凑的记忆事实。在固定的上下文-记忆预算下，CoEM将潜在有用的源摘录逐字保留在待处理集合中，允许后续上下文在不可逆压缩之前澄清其相关性。随着新上下文的到来，学习的策略会重新审视每个待处理摘录，并决定是将其提升到已提交的记忆中、保留以供进一步考虑，还是丢弃。一个冻结的验证器确保只有在保留摘录和当前上下文支持的情况下，提议的事实才能被接受。大量实验表明，CoEM在长上下文推理方面始终表现出色。

🔬 方法详解

问题定义：本文旨在解决长上下文推理中的信息压缩问题，现有方法在处理长文本时容易丢失关键信息，影响推理效果。

核心思路：CoEM的核心思路是通过学习何时将源证据转化为紧凑的记忆事实，保留待处理的源摘录，以便后续上下文能够澄清其重要性。

技术框架：CoEM的整体架构包括待处理集合、已提交记忆和一个冻结的验证器。待处理集合中保留潜在有用的源摘录，随着新上下文的到来，学习的策略会决定如何处理这些摘录。

关键创新：CoEM的创新点在于其动态记忆管理策略，允许在上下文到达时重新评估信息的重要性，而不是在初始处理时就进行压缩。这种方法与传统的静态记忆管理方法有本质区别。

关键设计：在设计中，CoEM使用强化学习训练策略，结合细粒度的逐步证据奖励和最终答案奖励，以优化记忆管理的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在6400文档的长上下文输入上，CoEM在Qwen3.5-9B模型上相较于最强的记忆基线提高了10.4-11.4个F1分数，显示出其在长上下文推理中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和复杂决策支持系统。通过提升长上下文推理能力，CoEM能够在处理大规模文本数据时提供更准确的推理结果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Long-context reasoning is essential for complex and long-horizon tasks, yet the performance of large language models (LLMs) degrades as context length increases. Recent approaches address this by processing input chunk by chunk while maintaining a bounded textual memory in model context. However, premature information compression can discard critical details essential for subsequent reasoning. In this paper, we introduce Commit-on-Evidence Memory (CoEM), which learns when to convert source evidence into compact memory facts. Specifically, under a fixed context-memory budget, CoEM preserves potentially useful source excerpts verbatim in a pending set, allowing subsequent context to clarify their relevance before irreversible compression. As new context arrives, a learned policy revisits each pending excerpt and decides whether to promote it to the committed memory, retain it for further consideration, or discard it. A frozen verifier ensures proposed facts are accepted only if supported by retained excerpts and current context. To further guide effective memory management, we train this policy using reinforcement learning by combining fine-grained, step-level evidence rewards with final answer rewards. Extensive experiments demonstrate that CoEM consistently improves long-context reasoning. When evaluated on 6,400 documents long-context input, CoEM outperforms the strongest memory baseline by 10.4-11.4 F1 points on Qwen3.5-9B. Code repository: https://github.com/benmagnifico/CoEM.