QF3: Fast Flow RL with Filtered Q-Gradients

📄 arXiv: 2610.08789v1 📥 PDF

作者: Chung Min Kim, Brent Yi, David McAllister, Hongsuk Choi, Himanshu Gaurav Singh, Jinkun Cao, Ken Goldberg, Pieter Abbeel, Carmelo Sferrazza, Angjoo Kanazawa

分类: cs.RO, cs.LG

发布日期: 2026-10-06

备注: Project page: https://qf3-rl.github.io/

💡 一句话要点

提出QF3以加速流政策的强化学习训练

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 流政策 强化学习 机器人控制 类人步态 动作梯度 离线学习 高效训练

📋 核心要点

  1. 现有的流政策在强化学习中仍面临改进预训练策略和从零开始学习的挑战。
  2. QF3通过结合流匹配和评论者的动作梯度，提出了一种新的在线离线强化学习算法。
  3. 实验表明，QF3在类人步态和运动跟踪政策的训练中实现了10倍的速度提升。

📝 摘要（中文）

流政策已成为从示范中学习机器人行为的标准策略类，但强化学习仍然对改进预训练流政策或通过交互从头学习至关重要。我们提出了QF3（快速流强化学习与过滤的Q梯度），这是一种在线的离线策略强化学习算法，通过流匹配和通过流输出的一步预测反向传播的评论者动作梯度来训练流政策。为了确保评论者和预测的可靠性，QF3仅对接近重放动作的动作维度应用评论者梯度。QF3是首个从零开始训练类人步态政策并零次转移到硬件的离线流强化学习方法。与高吞吐量的离线训练方案结合，QF3在类人步态和运动跟踪政策的训练中实现了比最近的在线流强化学习方法FPO++快10倍的墙钟速度。我们还将QF3应用于在ABC-Sim和Robomimic任务上微调预训练的基于流的操作政策。

🔬 方法详解

问题定义：本论文旨在解决流政策在强化学习中的训练效率问题，现有方法在改进预训练策略和从零开始学习时存在速度和可靠性不足的痛点。

核心思路：QF3通过结合流匹配和评论者的动作梯度，确保在可靠的预测下进行更新，从而提高训练效率和策略质量。

技术框架：QF3的整体架构包括流政策的训练模块、评论者网络和重放缓冲区。训练过程中，评论者的动作梯度仅应用于接近重放动作的维度，以确保更新的可靠性。

关键创新：QF3是首个从零开始训练类人步态政策并能零次转移到硬件的离线流强化学习方法，这一创新显著提高了流政策的训练效率。

关键设计：在QF3中，关键设计包括对评论者梯度的选择性应用、流匹配的实现以及高吞吐量的离线训练方案，这些设计共同提升了训练的速度和效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，QF3在类人步态和运动跟踪政策的训练中实现了比FPO++快10倍的墙钟速度，表明其在效率和性能上的显著提升。这一成果为流政策的实际应用提供了强有力的支持。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在机器人控制和自动化领域。QF3能够有效地从示范中学习和改进机器人行为，未来可能在工业机器人、服务机器人等多种场景中得到应用，提升机器人自主学习和适应能力。

📄 摘要（原文）

Flow policies have become a standard policy class for learning robot behaviors from demonstrations, but reinforcement learning is still critical for improving pre-trained flow policies or learning them from scratch through interaction. We introduce QF3 (Fast Flow RL with Filtered Q-Gradients), an online off-policy RL algorithm that trains a flow policy with flow matching plus the critic's action gradient, backpropagated through a one-step prediction of the flow's output. To keep updates where the critic and this prediction are reliable, QF3 applies the critic gradient only to action dimensions that stay near the replay action. To our knowledge, QF3 is the first off-policy flow RL method to train humanoid locomotion policies from scratch and transfer them zero-shot to hardware. Paired with a high-throughput off-policy training recipe, it trains humanoid locomotion and motion-tracking policies with a 10x wall-clock speedup over FPO++, a recent on-policy flow RL method. We further apply QF3 to fine-tune pretrained flow-based manipulation policies on both ABC-Sim and Robomimic tasks. These results suggest that QF3 can both learn robot policies from scratch and refine those acquired from demonstrations. Website: https://qf3-rl.github.io/