On Computation and Reinforcement Learning

📄 arXiv: 2602.05999v1 📥 PDF

作者: Raj Ghugare, Michał Bortkiewicz, Alicja Ziarko, Benjamin Eysenbach

分类: cs.LG

发布日期: 2026-02-05

💡 一句话要点

提出计算量受限策略框架，提升强化学习策略的性能和泛化能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 计算量 泛化能力 资源受限 策略优化

📋 核心要点

  1. 深度强化学习通常使用固定架构的神经网络，难以区分计算量和参数量对性能的影响。
  2. 论文形式化了计算量受限的策略，证明更多计算量能提升策略解决问题和泛化到长时程任务的能力。
  3. 提出一种最小架构，能利用可变的计算量，实验表明其性能和长时程泛化能力优于传统网络。

📝 摘要（中文）

本文研究了强化学习(RL)策略可用的计算量对其学习的影响。即使策略使用固定数量的参数，额外的计算量是否仍然有益？标准的RL框架没有提供正式回答这些问题的语言。在经验上，深度RL策略通常被参数化为具有静态架构的神经网络，混淆了计算量和参数的数量。在本文中，我们形式化了计算量受限的策略，并证明了使用更多计算量的策略可以解决问题，并推广到超出计算量较少策略范围的更长horizon的任务。基于算法学习和无模型规划的先前工作，我们提出了一种可以使用可变计算量的最小架构。我们的实验补充了我们的理论。在一组包含在线和离线RL的31个不同任务中，我们表明(1)这种架构仅通过使用更多计算量就能获得更强的性能，并且(2)与使用高达5倍参数的标准前馈网络或深度残差网络相比，在更长horizon的测试任务上具有更强的泛化能力。

🔬 方法详解

问题定义：现有深度强化学习方法通常使用固定参数量的神经网络作为策略，这使得研究计算量对策略性能的影响变得困难。无法有效区分参数量和计算量对最终性能的贡献，也难以评估在参数量固定的情况下，增加计算量是否能带来性能提升。此外，现有方法在长时程任务上的泛化能力有限。

核心思路：论文的核心思路是将计算量作为强化学习策略设计中的一个显式变量，并提出一种计算量受限的策略框架。通过允许策略在推理时使用可变的计算量，从而研究计算量对策略性能和泛化能力的影响。这种设计使得策略能够在计算资源充足时进行更深入的思考和规划，从而提升性能。

技术框架：论文提出的架构基于算法学习和无模型规划的思想。具体来说，该架构包含一个核心的计算单元，该单元可以被重复执行多次，每次执行都会更新策略的状态表示。通过控制计算单元的执行次数，可以调节策略使用的计算量。整体流程如下：1. 输入状态；2. 初始化策略状态表示；3. 循环执行计算单元，更新状态表示；4. 基于最终状态表示输出动作。

关键创新：最重要的技术创新在于将计算量显式地纳入强化学习策略的设计中，并提出了一种能够利用可变计算量的最小架构。与传统的固定架构神经网络相比，该架构能够更好地适应不同的计算资源约束，并在计算资源充足时获得更好的性能。此外，该架构的设计也借鉴了算法学习的思想，使得策略能够通过迭代计算来逐步优化其决策。

关键设计：论文提出的架构的关键设计在于计算单元的结构和循环执行机制。计算单元可以是一个简单的神经网络层，其作用是将当前状态表示和输入状态进行融合，并输出更新后的状态表示。循环执行机制允许策略根据可用的计算量来动态调整计算单元的执行次数。此外，论文还可能涉及到一些损失函数的设计，例如鼓励策略在计算量较少时也能做出合理的决策，或者鼓励策略在计算量较多时进行更深入的思考。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该架构仅通过增加计算量就能显著提升性能，并在31个不同的在线和离线RL任务上验证了其有效性。与参数量高达5倍的标准前馈网络和深度残差网络相比，该架构在长时程测试任务上表现出更强的泛化能力，证明了计算量在提升策略泛化能力方面的作用。

🎯 应用场景

该研究成果可应用于资源受限的强化学习场景，例如移动机器人、边缘计算设备等。通过动态调整策略的计算量，可以在有限的计算资源下获得更好的性能。此外，该研究也有助于理解计算量在强化学习中的作用，为设计更高效的强化学习算法提供理论指导。

📄 摘要（原文）

How does the amount of compute available to a reinforcement learning (RL) policy affect its learning? Can policies using a fixed amount of parameters, still benefit from additional compute? The standard RL framework does not provide a language to answer these questions formally. Empirically, deep RL policies are often parameterized as neural networks with static architectures, conflating the amount of compute and the number of parameters. In this paper, we formalize compute bounded policies and prove that policies which use more compute can solve problems and generalize to longer-horizon tasks that are outside the scope of policies with less compute. Building on prior work in algorithmic learning and model-free planning, we propose a minimal architecture that can use a variable amount of compute. Our experiments complement our theory. On a set 31 different tasks spanning online and offline RL, we show that $(1)$ this architecture achieves stronger performance simply by using more compute, and $(2)$ stronger generalization on longer-horizon test tasks compared to standard feedforward networks or deep residual network using up to 5 times more parameters.