Looped Actor: Depth-Recurrent Reasoning Models for Reinforcement Learning
作者: T. Konstantin Rusch, Tim Seyde, Jared Boyer, Zach J. Patterson, Daniela Rus
分类: cs.LG
发布日期: 2026-09-29
🔗 代码/项目: GITHUB
💡 一句话要点
提出Looped Actor以解决强化学习中的动态计算问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 动态计算 强化学习 循环机制 自适应策略 多步规划 深度学习 机器人控制
📋 核心要点
- 现有强化学习方法在动态计算和多步规划方面存在不足，难以适应复杂环境的需求。
- 论文提出Looped Actor，通过共享计算模块和动态循环机制，提升了策略的计算适应性和规划能力。
- 实验结果显示，Looped Actor在多种任务中表现优异，尤其在需要复杂决策的环境中，性能显著优于传统基线模型。
📝 摘要（中文）
Looped Actor是一种深度递归推理模型，通过重复应用共享参数集来实现更高效的计算，而不增加模型大小。该模型支持输入依赖的计算，动态决定何时停止循环。研究表明，在某些马尔可夫决策过程中，状态自适应策略可以以更少的期望计算实现最优回报。Looped Actor在22个任务中表现出色，尤其在需要多步规划的环境中，其性能超过了参数量多16倍的基线模型。
🔬 方法详解
问题定义：本论文旨在解决强化学习中动态计算的不足，尤其是在多步决策和复杂环境下的计算效率问题。现有方法往往依赖固定的计算时间，无法适应不同状态的需求。
核心思路：论文提出的Looped Actor模型通过动态循环机制，允许模型根据当前状态自适应地调整计算量，从而提高决策效率。该设计灵感来源于循环变换器在语言建模中的成功应用。
技术框架：Looped Actor的整体架构包括一个共享计算模块，该模块在每次循环中对潜在表示进行细化，直到达到固定点。模型根据输入状态动态决定循环次数，从而实现计算的自适应分配。
关键创新：Looped Actor的主要创新在于引入了动态循环机制，使得模型能够在不同状态下灵活调整计算量。这一方法与传统的固定运行时间策略形成鲜明对比，能够在某些情况下以更少的计算实现最优回报。
关键设计：在设计上，Looped Actor使用了共享的计算块，并通过损失函数优化潜在表示的收敛性。模型的参数设置经过精心调整，以确保在多种任务中均能有效运行。
🖼️ 关键图片
📊 实验亮点
在22个任务的评估中，Looped Actor的性能与参数量多16倍的基线模型相当或更优，特别是在需要复杂多步规划的环境中表现出显著提升。这表明动态计算分配在强化学习中的有效性。
🎯 应用场景
Looped Actor的研究成果在多个领域具有潜在应用价值，包括机器人控制、游戏智能体、自动化决策系统等。其动态计算能力使得智能体能够在复杂环境中更高效地进行决策，未来可能推动强化学习在实际应用中的广泛采用。
📄 摘要（原文）
Looped reasoning models repeatedly apply a shared set of parameters, enabling more computation without increasing the model size. These models also support input-dependent computation by dynamically deciding when to stop looping. Motivated by the recent success of looped transformers in language modeling and reasoning, we investigate whether dynamic looping can similarly benefit sequential decision-making. We provide a complexity-theoretic motivation for this approach by showing that there exist Markov decision processes in which a state-adaptive policy achieves the optimal return with asymptotically less expected computation than any optimal fixed-runtime policy. To learn compute-adaptive policies in practice, we introduce Looped Actor, a transformer-based policy that repeatedly refines a latent representation toward a fixed point using a shared computational block. This allows the model to allocate computation adaptively by varying the number of loops based on the current state. We evaluate Looped Actor on 22 tasks across six environments, ranging from combinatorial puzzles to robotic manipulation and spanning online and offline reinforcement learning (RL) with discrete and continuous actions. Looped Actor matches or exceeds the performance of an untied baseline with 16$\times$ more parameters, with the largest gains in environments where action selection requires substantial multistep planning. For the Boxoban environment, we find that the computation allocation is structured: the number of loops increases with the number of remaining pushes and future optimal pushes become increasingly predictable from the latent state over successive loops. Together, these results highlight actor looping as a simple and efficient way to equip RL agents with adaptive computation and improve their planning capabilities. Code is available at https://github.com/camail-official/LoopedActor