RFPO: Rectified Flow Policy Optimization for Embodied Control
作者: Ting Huang, Lisiyu Pan, Haoyu Wang, Zeyu Zhang, Siyuan Qian, Yanjun Li, Yandong Guo, Boxin Shi, Hao Tang
分类: cs.RO
发布日期: 2026-10-07
🔗 代码/项目: GITHUB | PROJECT_PAGE
💡 一句话要点
提出RFPO以解决流政策在机器人控制中的执行效率问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 流政策 机器人控制 优化框架 推理效率 在线重流 高斯PPO 少步执行 鲁棒性
📋 核心要点
- 现有流政策在机器人控制中面临推理成本高和控制性能下降的挑战，尤其是在减少集成步数时。
- RFPO框架通过奖励感知的在线重流技术，优化流政策以提高在少步执行中的鲁棒性。
- 实验表明，RFPO在多个机器人平台上实现了高达54.9倍的推理速度提升，同时保持了控制性能的稳定性。
📝 摘要（中文）
流基政策为连续机器人控制提供了一个表达框架，但其迭代的常微分方程（ODE）集成带来了显著的推理成本。简单减少集成预算可能会严重降低控制性能，因为在全步执行下优化的政策并未明确约束在粗略数值集成下保持可靠性。为了解决这一问题，本文提出了RFPO，一个用于可靠少步执行的流政策优化框架。通过奖励感知的在线重流，修正了在策略学习过程中引起的传输路径，使得生成的政策在粗集成下更具鲁棒性。实验结果表明，RFPO在多个机器人平台上保持了全步控制性能，同时显著降低了推理延迟。
🔬 方法详解
问题定义：本文旨在解决流政策在机器人控制中因减少集成步数而导致的控制性能下降和推理成本高的问题。现有方法在全步执行下优化的策略未能保证在粗略数值集成下的可靠性，形成了少步离散化差距。
核心思路：RFPO通过引入奖励感知的在线重流机制，修正了在策略学习过程中产生的传输路径，从而使得生成的流政策在少步执行时更为稳健。该设计旨在提高流政策在实际应用中的可靠性和效率。
技术框架：RFPO的整体架构包括奖励感知的在线重流模块和一个冻结的高斯PPO控制器。重流模块在策略学习过程中实时调整传输路径，而PPO控制器则提供全步和中间集成预算下的补充动作空间监督。最终，部署的政策以单步执行的流学生形式运行。
关键创新：RFPO的主要创新在于通过奖励感知的在线重流修正传输路径，使得流政策在少步执行中保持高效和稳定。这一方法与传统流政策优化方法的本质区别在于其对粗集成的鲁棒性。
关键设计：在设计中，RFPO采用了单步执行的流学生策略，结合高斯PPO控制器的监督，确保在不同集成预算下的性能稳定。关键参数设置和损失函数的设计也经过精心调整，以优化学习过程和控制效果。
🖼️ 关键图片
📊 实验亮点
RFPO在Unitree Go2等多个机器人平台上实现了显著的性能提升，单步执行保留了98.5%的64步奖励，同时将推理延迟从4.39毫秒降低至0.08毫秒，达到了54.9倍的速度提升。这些结果验证了RFPO在实际应用中的有效性和稳定性。
🎯 应用场景
RFPO的研究成果可广泛应用于机器人控制领域，特别是在需要实时决策和高效推理的场景，如自主导航、服务机器人和工业自动化等。其高效的推理能力和稳定的控制性能将推动智能机器人在复杂环境中的应用，提升其自主性和适应性。
📄 摘要（原文）
Flow-based policies provide an expressive framework for continuous robot control, but their iterative ODE integration incurs substantial inference cost. Naively reducing the integration budget can severely degrade control, since policies optimized under full-step execution are not explicitly constrained to remain reliable under coarse numerical integration. We refer to this mismatch as the few-step discretization gap. To address this problem, we introduce RFPO, a flow-policy optimization framework for reliable few-step execution. Reward-aware online Reflow rectifies student-induced transport paths during on-policy learning, making the resulting policy more robust to coarse integration. A frozen Gaussian PPO controller supplies complementary action-space supervision at full and intermediate integration budgets, while the deployed policy remains a single flow student executed with one Euler step. Across Unitree Go2, Boston Dynamics Spot, Unitree H1, and Unitree G1, RFPO consistently preserves full-step control performance under one-step execution, with one-step returns remaining within 2.4% of their corresponding 64-step values across both zero and random initialization. On Unitree Go2, one-step execution retains 98.5% of the 64-step reward while reducing onboard mean inference latency from 4.39 ms to 0.08 ms, yielding a 54.9x speedup. Real-robot experiments further validate stable one-step locomotion. Code: https://github.com/AIGeeksGroup/RFPO. Website: https://aigeeksgroup.github.io/RFPO.