Remember Less, Adapt Longer: Bounded-State In-Context Reinforcement Learning with Recurrent Summary Memory

📄 arXiv: 2610.25758v1 📥 PDF

作者: Jiawen Wang, Cheng Xue, Peng Zhang, Jochen Renz

分类: cs.LG, cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出RSM以解决长期任务中的记忆与适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 上下文强化学习 递归摘要记忆 长时间任务 智能体适应 Transformer策略

📋 核心要点

  1. 现有的记忆方法在长期任务中面临存储成本与访问效率的权衡，导致性能下降。
  2. 本文提出递归摘要记忆（RSM），通过固定容量的摘要和短期缓冲区来优化记忆使用。
  3. 实验结果表明，RSM在长时间任务中表现优于其他基线，适应性能显著提升。

📝 摘要（中文）

在上下文强化学习（ICRL）中，智能体能够在不更新参数的情况下适应新任务，依赖记忆保留经验。现有方法在使用记忆时面临存储成本与访问过去经验的权衡。本文提出了递归摘要记忆（RSM），一种Transformer策略，能够精确关注短期工作缓冲区的近期交互，并携带固定容量的早期经验摘要。RSM在长时间运行的部分可观察任务中表现优异，能够在训练时间的八倍内维持适应性能，且仅需约1%的完整历史记忆。RSM在任务配置变化时的再适应能力优于现有方法，展示了固定容量摘要在超越训练时间的上下文适应能力。

🔬 方法详解

问题定义：现有的上下文强化学习方法在长期任务中使用的记忆策略存在存储成本高和访问效率低的问题，导致智能体在适应新任务时性能下降。

核心思路：本文提出的递归摘要记忆（RSM）策略通过固定容量的摘要和短期工作缓冲区，优化了记忆的使用，确保在任务长度增加时，存储和决策成本保持在O(1)。

技术框架：RSM的整体架构包括一个短期工作缓冲区用于存储近期交互，以及一个固定容量的摘要模块，用于整合早期经验。当缓冲区满时，RSM会重写摘要并清空缓冲区。

关键创新：RSM的主要创新在于其固定容量的摘要设计，能够在不增加存储成本的情况下，保持对早期经验的有效访问，这与现有的动态增长记忆方法形成鲜明对比。

关键设计：RSM的设计中，摘要的更新机制和缓冲区的管理是关键，确保在任务变化时能够快速适应，同时保持低的计算和存储开销。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，RSM在长时间运行的部分可观察任务中，能够在训练时间的八倍内维持适应性能，且仅需约1%的完整历史记忆，优于所有评估的基线方法，尤其在任务配置变化时表现出色。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能助手和游戏AI等需要长期适应的场景。RSM的设计能够在动态环境中高效地处理记忆与适应问题，具有重要的实际价值和未来影响。

📄 摘要（原文）

In-context reinforcement learning (ICRL) enables agents to adapt to new tasks without parameter updates, relying on memory to retain what they learn from experience. For agents operating continually, existing approaches using memory trade off bounded cost against access to past experience. Approaches using growing memories, such as full-history attention and accumulating summaries, incur storage and per-decision costs that increase with task length. Fixed-size memories bound storage but restrict access: sliding windows discard older steps, while recurrent networks compress even recent interactions into a hidden state. We introduce Recurrent Summary Memory (RSM), a Transformer policy that attends exactly to a short working buffer of recent interactions and carries a fixed-capacity summary of earlier experience. When the buffer fills, RSM rewrites the summary from its previous contents and the buffer, then clears the buffer, so deployment memory and per-decision cost stay $O(1)$ in task length. On long-running partially observable tasks, frozen RSM policies sustain their adapted performance for eight times the training horizon with about 1% of full-history memory, ending ahead of every evaluated baseline while growing memories deteriorate. When the task configuration changes mid-run, RSM re-adapts better than growing and recurrent memories. Clearing the summary or blocking the policy's access to it removes its benefit, while swapping in another task's summary steers behaviour towards that task. Together, these results show that our fixed-capacity summary can sustain in-context adaptation far beyond the training horizon.