Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows
作者: Junhyun Ha, Juho Lee, Byungwoo Park
分类: cs.LG, cs.AI, cs.RO
发布日期: 2026-09-29
备注: 27 pages, 10 figures
💡 一句话要点
提出Proposal-Conditioned Refinement Flows以解决离线强化学习中的行为建模问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 离线强化学习 扩散政策 流政策 行为建模 条件精炼流 KL散度 提案选择 高斯参考
📋 核心要点
- 现有的扩散和流政策在离线强化学习中面临KL散度惩罚的问题，限制了高价值动作的选择。
- 本文提出PReFlow，通过结合评价者驱动的提案选择与条件精炼流，优化提案选择与精炼过程。
- 在50个OGBench任务上，PReFlow在离线性能上具有竞争力，并在在线微调后获得91%的最高得分。
📝 摘要（中文）
扩散和流政策能够在离线强化学习中建模复杂行为。然而，惩罚与行为政策的KL散度可能会抑制高评价值但低行为密度的动作。直接改进行为提案可能是一个替代方案，但高斯或确定性编辑器在表示相同提案的多个分离模式时受限。本文提出Proposal-Conditioned Refinement Flows（PReFlow），一种结合基于评价者的提案选择与条件精炼流的政策提取方法。我们制定了一个KL正则化目标以优化提案选择和精炼，最终在高斯平滑的行为先验下诱导出Gibbs政策。PReFlow在50个OGBench任务上表现出竞争力的离线性能，并在在线微调后获得最高的综合得分，达到91%。
🔬 方法详解
问题定义：本文旨在解决离线强化学习中，扩散和流政策因KL散度惩罚而导致高价值动作选择受限的问题。现有方法在处理复杂行为时表现不足，尤其是在低行为密度情况下。
核心思路：论文提出的PReFlow方法通过结合基于评价者的提案选择与条件精炼流，旨在优化提案的选择与精炼过程，从而提高政策的表现。该设计允许模型在多个高价值模式之间进行有效的表示。
技术框架：PReFlow的整体架构包括提案选择模块和条件精炼流模块。提案选择模块基于评价者的反馈进行选择，而精炼流模块则在高斯平滑的行为先验下进行动作的精炼。
关键创新：PReFlow的主要创新在于引入了条件精炼流，能够表示多个高价值模式，并通过高斯参考来调节大幅度的动作变化。这一方法与传统的高斯或确定性编辑器相比，显著提升了表达能力。
关键设计：在损失函数设计上，PReFlow采用KL正则化目标，以优化提案选择和精炼的联合过程。此外，利用从采样端点和评价者梯度中获得的闭式形式的伴随匹配目标，简化了训练过程，避免了反向伴随求解的复杂性。
🖼️ 关键图片
📊 实验亮点
在50个OGBench任务中，PReFlow展现出竞争力的离线性能，并在经过500K环境步骤的在线微调后，达到了91%的最高得分，超越了其他比较方法，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和游戏AI等需要复杂行为建模的场景。通过提高离线强化学习的效率，PReFlow可以在实际应用中实现更优的决策制定，具有重要的实际价值和未来影响。
📄 摘要（原文）
Diffusion and flow policies can model complex behaviors in offline reinforcement learning (RL). However, penalizing their KL divergence from the behavior policy can discourage actions having high critic values with low behavior density. Directly refining behavior proposals may be an alternative, yet Gaussian or deterministic editors limit expressiveness to represent multiple separated modes for the same proposal. In this work, we introduce Proposal-Conditioned Refinement Flows (PReFlow), a policy extraction method combining critic-based proposal selection with a conditional refinement flow. To optimize proposal selection and refinement together, we formulate a KL-regularized objective whose optimum induces a Gibbs policy over final actions under a Gaussian-smoothed behavior prior. The refinement flow can represent multiple high value modes, while a proposal-centered Gaussian reference regulates large action changes. This Gaussian reference further enables us to make use of simulation-free, closed form adjoint matching targets from sampled endpoints and critic gradients, yielding a single velocity regression loss without a backward adjoint solve. On 50 OGBench tasks, PReFlow achieves competitive offline performance and the highest aggregate score among the compared methods after online fine-tuning, reaching 91\% after 500K environment steps.