Refinement-based Flow Policy Optimization

📄 arXiv: 2609.15123v1 📥 PDF

作者: Bumgeun Park, Hyukjun Yang, Donghwan Lee

分类: cs.LG, cs.AI

发布日期: 2026-09-14

💡 一句话要点

提出RFPO以解决流政策优化中的样本获取问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 流政策优化 强化学习 样本细化 Q函数 多模态表示 机器人控制 自动驾驶

📋 核心要点

  1. 现有的流政策优化方法在目标动作分布仅通过Q函数隐式定义时，难以直接从分布中抽样，导致训练效率低下。
  2. RFPO通过生成高斯噪声动作并进行细化，结合Q函数引导，避免了直接样本获取的需求，提升了策略学习的灵活性。
  3. 在六个连续控制任务中，RFPO在几乎所有任务上与标准高斯策略基线相匹配或超越，展示了其有效性和优越性。

📝 摘要（中文）

基于流的策略为在线强化学习提供了丰富的表示能力，但传统的流匹配需要从待建模分布中抽样，这在目标动作分布仅通过Q函数隐式定义时面临挑战。本文提出了一种新颖的框架——基于细化的流政策优化（RFPO），通过在Q引导的样本细化和自目标流匹配之间交替进行，来训练流政策。RFPO首先从高斯噪声生成动作，然后通过有限步的随机细化程序将其移动到由Q函数诱导的能量分布。每个细化后的动作与其对应的初始噪声样本配对，作为流匹配训练的固定目标。通过反复细化输出并从结果目标中学习，RFPO在不需要直接样本的情况下将Q引导纳入策略，同时保留表示多种动作模式的能力。理论分析表明RFPO引导的分布动态。实验结果显示，RFPO在六个连续控制任务中与标准高斯策略基线相匹配或超越。

🔬 方法详解

问题定义：本文旨在解决传统流政策优化中，目标动作分布仅通过Q函数隐式定义时的样本获取困难，导致训练效率低下的问题。

核心思路：RFPO的核心思路是通过从高斯噪声生成动作并进行有限步的随机细化，将动作向Q函数诱导的能量分布移动，从而实现有效的流匹配。

技术框架：RFPO的整体架构包括两个主要模块：首先生成高斯噪声动作，然后通过细化过程将其调整到目标分布，最后进行流匹配训练。

关键创新：RFPO的创新在于不需要直接从目标分布中抽样，而是通过细化和自目标流匹配的方式，将Q引导融入策略学习，保留了多模态表示能力。

关键设计：在技术细节上，RFPO采用有限步的随机细化程序，结合固定目标流匹配训练，确保了策略的稳定性和多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RFPO在六个连续控制任务中表现出色，几乎在所有任务上均与标准高斯策略基线相匹配或超越，证明了其有效性。此外，在六个具有多样几何形状的二维目标分布实验中，RFPO成功捕捉复杂的多模态结构，且未出现模式崩溃现象。

🎯 应用场景

RFPO的研究成果在多个领域具有潜在应用价值，尤其是在机器人控制、自动驾驶和游戏智能体等需要高效决策的场景中。通过提高策略学习的灵活性和效率，RFPO能够推动这些领域的技术进步和应用落地。

📄 摘要（原文）

Flow-based policies offer an expressive representation for online reinforcement learning, but conventional flow matching requires samples drawn from the distribution to be modeled. This poses a challenge when the desired action distribution is defined only implicitly by a Q-function, since directly sampling actions from the resulting distribution is generally intractable. We propose Refinement-Based Flow Policy Optimization (RFPO), a novel framework for training a flow policy in online reinforcement learning by alternating between Q-guided sample refinement and self-target flow matching. RFPO first generates actions from Gaussian noise using the current flow policy and then uses a finite-step stochastic refinement procedure to move them toward an energy-based distribution induced by the Q-function. Each refined action is then paired with its corresponding initial noise sample and used as a fixed target for flow-matching training. By repeatedly refining its own outputs and learning from the resulting targets, RFPO incorporates Q-guidance into the policy without requiring direct samples from the target distribution, while retaining the capacity to represent multiple action modes. We further provide a theoretical analysis of the distributional dynamics induced by RFPO. Across six continuous-control tasks, RFPO matches or outperforms a standard Gaussian-policy baseline on almost every task. Experiments on six synthetic two-dimensional target distributions with diverse geometries demonstrate that RFPO captures complex multimodal structure without mode collapse.