Scalable In-Context Reinforcement Learning with Recurrent Algorithm Distillation

📄 arXiv: 2609.35333v1 📥 PDF

作者: Yuanqing Ma, Zhenrui Zheng, Chenjun Xiao

分类: cs.LG

发布日期: 2026-09-28

💡 一句话要点

提出递归算法蒸馏以解决长时间决策的可扩展性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 算法蒸馏 递归学习 长时间决策 变换器 强化学习 压缩模型 自回归生成

📋 核心要点

  1. 现有的算法蒸馏方法在处理长时间决策时面临内存开销过大和可扩展性不足的挑战。
  2. 本文提出的递归算法蒸馏（RAD）通过压缩变换器和AD变换器的双组件架构，有效地处理长时间交互历史。
  3. 实验结果表明，RAD在不同环境中显著减少了上下文窗口大小，同时保持了与标准AD相当的性能。

📝 摘要（中文）

算法蒸馏（AD）展示了变换器在无显式权重更新的情况下进行上下文强化学习的卓越能力。然而，捕捉长期学习进展需要扩展的上下文窗口，这会导致巨大的内存开销并限制在复杂长时间任务中的可扩展性。为了解决这一瓶颈，本文提出了递归算法蒸馏（RAD）。RAD采用双组件架构：一个压缩变换器将扩展的交互历史蒸馏为紧凑的潜在标记，另一个AD变换器使用这些压缩记忆和最近过渡的混合上下文自回归地生成动作。通过维护固定大小的潜在缓冲区，RAD将有效历史长度与计算复杂性解耦，从而为模型提供长期记忆。实证评估表明，RAD在不同环境中与标准AD的渐近性能相匹配，同时显著减少上下文窗口大小，为高效的上下文决策提供了可扩展的解决方案。

🔬 方法详解

问题定义：本文要解决的问题是如何在长时间决策任务中有效捕捉学习进展，同时避免高昂的内存开销。现有的算法蒸馏方法需要扩展的上下文窗口，导致可扩展性不足。

核心思路：论文的核心思路是通过递归算法蒸馏（RAD）来压缩交互历史，从而减小上下文窗口的需求。通过引入压缩变换器和AD变换器的双组件架构，RAD能够在保持性能的同时降低计算复杂性。

技术框架：RAD的整体架构包括两个主要模块：压缩变换器负责将扩展的交互历史蒸馏为紧凑的潜在标记，AD变换器则利用这些压缩记忆和最近的过渡信息自回归地生成动作。通过维护固定大小的潜在缓冲区，RAD有效地解耦了历史长度与计算复杂性。

关键创新：RAD的最重要技术创新在于其双组件架构和固定大小的潜在缓冲区设计，使得模型能够在不增加计算负担的情况下，处理长时间的决策任务。这与现有方法的本质区别在于有效历史长度的解耦。

关键设计：在关键设计方面，RAD采用了特定的损失函数和网络结构，以确保压缩变换器能够有效地提取重要的交互信息，同时AD变换器能够在生成动作时利用这些信息。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，RAD在多个环境中显著减少了上下文窗口的大小，且在性能上与标准算法蒸馏方法相当，证明了其在长时间决策任务中的有效性和可扩展性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等需要长时间决策的场景。通过提高算法的可扩展性，RAD能够在复杂环境中实现更高效的决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Algorithm Distillation (AD) has demonstrated the remarkable ability of Transformers to perform in-context reinforcement learning without explicit weight updates. However, capturing long-term learning progress necessitates expansive context windows, which incur prohibitive memory costs and limit scalability in complex, long-horizon tasks. To address this bottleneck, we propose Recurrent Algorithm Distillation (RAD). RAD employs a dual-component architecture: a Compression Transformer that distills extended interaction histories into compact latent tokens, and an AD Transformer that auto-regressively generates actions using a hybrid context of these compressed memories and recent transitions. By maintaining a fixed-size latent buffer, RAD decouples the effective history length from computational complexity, functionally providing the model with a long-horizon memory. Empirical evaluations across diverse environments demonstrate that RAD matches the asymptotic performance of standard AD with significantly reduced context window sizes, offering a scalable solution for efficient in-context decision-making.