When Can Agents Forget Their Reasoning? ICLR for Long-Horizon Agent Context Compression

📄 arXiv: 2609.29875v1 📥 PDF

作者: Mingxuan Wang, Fei Luo, Bo Wang, Guorun Yao, Yinglong Guo, Chao Ning, Hongyue Chen, Yanbiao Ma, Jungong Han

分类: cs.AI, cs.CV

发布日期: 2026-09-24

备注: 30 pages

💡 一句话要点

提出互动感知压缩方法以解决长时间推理中的历史信息遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时间推理 代理熵 在线学习 信息压缩 智能代理

📋 核心要点

  1. 现有方法在长时间推理中无法有效管理历史推理信息，导致推理成本和上下文长度不断增加。
  2. 本文提出了一种训练无关的在线方法ICLR，通过冻结的代理熵对推理块进行排名，从而实现历史推理的安全遗忘。
  3. 在实验中，ICLR在260个任务上显著提高了平均奖励，并有效减少了输入和输出的token数量。

📝 摘要（中文）

长时间语言模型代理不断积累推理历史，导致上下文长度和推理成本增加。与静态的思维链压缩不同，删除历史推理可能会改变未来的行动和交互轨迹。本文研究了何时可以安全地遗忘这些推理，并提出了一种名为互动感知压缩的在线方法，该方法通过冻结的代理熵对推理块进行排名，同时保留行动、工具调用和观察。在260个WorkBuddyBench任务上，ICLR将平均奖励从0.699提高到0.718，同时减少输入、输出和缓存读取的token数量，分别降低了25.5%、14.4%和33.3%。

🔬 方法详解

问题定义：本文旨在解决长时间推理中代理不断累积历史推理信息的问题。现有方法无法有效删除过时的推理，导致推理成本和上下文长度增加。

核心思路：提出互动感知压缩（ICLR）方法，通过在线排名推理块，允许代理在不影响未来决策的情况下安全地遗忘历史推理。该方法设计为训练无关，便于实时应用。

技术框架：ICLR的整体架构包括推理块的排名、历史推理的删除和未来行动的保留。主要模块包括代理熵计算、推理块选择和交互轨迹管理。

关键创新：ICLR的核心创新在于通过动态评估推理块的重要性，允许代理在保持决策一致性的同时，有效地减少历史信息的负担。这与传统的静态思维链压缩方法形成鲜明对比。

关键设计：在设计中，使用冻结的代理熵作为排名依据，确保推理块的选择不会影响后续的决策。同时，设置了适当的参数以优化推理块的删除过程，确保在减少计算量的同时保持性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，ICLR在260个任务上将平均奖励从0.699提升至0.718，同时减少输入、输出和缓存读取的token数量，分别降低了25.5%、14.4%和33.3%。这些结果表明，ICLR在提升性能的同时，显著降低了计算成本。

🎯 应用场景

该研究的潜在应用领域包括智能代理、自动化决策系统和人机交互等。通过有效管理推理历史，ICLR可以提高代理的响应速度和决策效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Long horizon language model agents continually accumulate reasoning history, increasing context length and inference cost even after earlier decisions have been executed and observed. Unlike static Chain of Thought compression, removing historical reasoning can change future actions and the resulting interaction trajectory. We study when such reasoning can be safely forgotten. We propose Interaction Aware Compression for Long Horizon Reasoning (ICLR), a training free online method that ranks reasoning blocks using frozen proxy entropy while preserving actions, tool calls, and observations. On 260 WorkBuddyBench tasks, ICLR improves average reward from 0.699 to 0.718, while reducing input, output, and cache read tokens by 25.5%, 14.4%, and 33.3%, respectively. Ablations reveal trajectory amplification, where local reasoning deletion produces nonlinear changes in total computation by altering subsequent interaction. Representation probing, activation patching, and controlled trajectory analyses further suggest that historical reasoning becomes more replaceable once task relevant derived state has been reliably externalized into code, files, tool outputs, or environmental feedback. These results characterize agent reasoning as dynamic working state rather than permanent interaction history.