FASTER: Value-Guided Sampling for Fast RL

📄 arXiv: 2604.19730v1 📥 PDF

作者: Perry Dong, Alexander Swerdlow, Dorsa Sadigh, Chelsea Finn

分类: cs.LG, cs.AI

发布日期: 2026-04-21

🔗 代码/项目: GITHUB

💡 一句话要点

FASTER：通过价值引导采样加速强化学习，降低扩散策略的计算成本。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 扩散模型 价值引导采样 计算效率 长程操作

📋 核心要点

  1. 现有强化学习算法依赖测试时采样扩展，计算成本高昂，限制了其应用。
  2. FASTER将动作去噪过程建模为MDP，学习策略和价值函数来过滤低价值动作。
  3. 实验表明，FASTER在长程操作任务中提升了策略性能，并降低了计算成本。

📝 摘要（中文）

目前一些性能最佳的强化学习算法由于使用了测试时扩展方法（例如采样多个动作候选并选择最佳动作）而导致计算成本过高。本文提出了FASTER，一种在不增加计算成本的情况下，获得基于采样的扩散策略测试时扩展优势的方法，其核心思想是将动作样本的性能增益追溯到去噪过程的早期阶段。我们将多个动作候选的去噪和最佳动作的选择建模为一个马尔可夫决策过程（MDP），目标是在去噪完成之前逐步过滤动作候选。通过这个MDP，我们可以在去噪空间中学习策略和价值函数，预测去噪过程中动作候选的下游价值，并在最大化回报的同时过滤它们。FASTER方法轻量级，可以插入到现有的生成式强化学习算法中。在在线和批量在线强化学习中具有挑战性的长程操作任务中，FASTER始终改进了底层策略，并在比较的方法中实现了最佳的整体性能。应用于预训练的VLA时，FASTER在显著降低训练和推理计算需求的同时，实现了相同的性能。代码已开源。

🔬 方法详解

问题定义：现有基于扩散模型的强化学习方法，在测试阶段为了提升策略性能，通常需要采样大量的动作候选，然后选择最优的动作执行。这种采样策略虽然有效，但显著增加了计算负担，尤其是在需要实时控制的场景下，计算瓶颈问题尤为突出。因此，如何降低采样带来的计算成本，同时保持甚至提升策略性能，是本文要解决的核心问题。

核心思路：FASTER的核心思想是尽早地在扩散模型的去噪过程中过滤掉价值较低的动作候选，从而减少后续不必要的计算。作者将动作候选的去噪过程建模成一个马尔可夫决策过程（MDP），在这个MDP中，状态是去噪过程中的动作候选集合，动作是选择保留哪些动作候选，奖励是基于价值函数的动作选择带来的性能提升。通过学习这个MDP的策略和价值函数，可以在去噪的早期阶段就识别出有潜力的动作，并过滤掉其他动作，从而降低整体的计算复杂度。

技术框架：FASTER的整体框架可以分为以下几个主要阶段：1) 动作候选生成：使用扩散模型生成多个动作候选。2) 去噪过程建模：将动作候选的去噪过程建模为一个MDP，其中状态是去噪过程中的动作候选集合，动作是选择保留哪些动作候选。3) 策略和价值函数学习：使用强化学习算法（如PPO）学习MDP的策略和价值函数，策略用于选择保留哪些动作候选，价值函数用于评估动作候选的潜在价值。4) 动作选择：在去噪过程中，根据学习到的策略逐步过滤动作候选，最终选择最优的动作执行。

关键创新：FASTER的关键创新在于将动作候选的去噪过程建模为一个MDP，并学习策略和价值函数来指导动作候选的过滤。与传统的采样方法相比，FASTER不是简单地采样所有动作候选并进行评估，而是在去噪的早期阶段就利用价值信息进行过滤，从而显著降低了计算成本。此外，FASTER可以很容易地集成到现有的基于扩散模型的强化学习算法中，具有良好的通用性。

关键设计：在MDP的设计中，状态空间是去噪过程中的动作候选集合，动作空间是选择保留哪些动作候选的二进制向量。奖励函数的设计至关重要，它需要能够反映动作选择带来的性能提升。作者使用价值函数来估计动作候选的潜在价值，并根据价值函数的变化来设计奖励函数。此外，策略和价值函数的网络结构也需要仔细设计，以确保能够有效地学习到动作候选的价值信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FASTER在具有挑战性的长程操作任务中取得了显著的性能提升。实验结果表明，FASTER能够始终改进底层策略，并在比较的方法中实现了最佳的整体性能。更重要的是，FASTER在应用于预训练的VLA时，在显著降低训练和推理计算需求的同时，实现了相同的性能。这表明FASTER是一种高效且实用的加速强化学习方法。

🎯 应用场景

FASTER具有广泛的应用前景，尤其是在需要实时控制和高计算效率的机器人任务中。例如，它可以应用于无人驾驶、机器人操作、游戏AI等领域，提升智能体的决策速度和效率。此外，FASTER还可以应用于其他生成模型中，例如图像生成、文本生成等，通过价值引导采样来提高生成质量和效率。

📄 摘要（原文）

Some of the most performant reinforcement learning algorithms today can be prohibitively expensive as they use test-time scaling methods such as sampling multiple action candidates and selecting the best one. In this work, we propose FASTER, a method for getting the benefits of sampling-based test-time scaling of diffusion-based policies without the computational cost by tracing the performance gain of action samples back to earlier in the denoising process. Our key insight is that we can model the denoising of multiple action candidates and selecting the best one as a Markov Decision Process (MDP) where the goal is to progressively filter action candidates before denoising is complete. With this MDP, we can learn a policy and value function in the denoising space that predicts the downstream value of action candidates in the denoising process and filters them while maximizing returns. The result is a method that is lightweight and can be plugged into existing generative RL algorithms. Across challenging long-horizon manipulation tasks in online and batch-online RL, FASTER consistently improves the underlying policies and achieves the best overall performance among the compared methods. Applied to a pretrained VLA, FASTER achieves the same performance while substantially reducing training and inference compute requirements. Code is available at https://github.com/alexanderswerdlow/faster .