Reinforcement Learning via Fixed-point Flow Matching

📄 arXiv: 2610.12848v1 📥 PDF

作者: Denis Blessing, Onur Celik, Gerhard Neumann

分类: cs.LG, cs.RO

发布日期: 2026-10-09

💡 一句话要点

提出固定点流匹配方法以解决无数据强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 流匹配 无数据学习 策略优化 机器人控制

📋 核心要点

  1. 现有的流政策方法在在线强化学习中面临缺乏训练数据的问题，导致难以生成复杂的Boltzmann分布样本。
  2. 本文提出的固定点流匹配（FFM）方法通过固定点迭代来更新策略，利用评论者的动作梯度作为回归目标，避免了对训练数据的依赖。
  3. 实验结果表明，FFM能够有效微调预训练的流政策，并在在线强化学习中实现从零开始的高效训练，显著提升了策略的表现。

📝 摘要（中文）

在最大熵和行为约束强化学习中，最优策略通常由Boltzmann分布给出，但从该分布生成样本往往具有挑战性。传统的流政策依赖于训练数据，而在线强化学习中通常无法获得这些数据。为了解决这一限制，本文提出了一种无数据的固定点流匹配（FFM）方法，用于训练和微调流政策。FFM利用目标流的特性，将演员更新公式化为固定点迭代，并采用流匹配风格的回归目标，其中评论者的动作梯度作为回归目标。我们证明了最优策略是该迭代的固定点。通过广泛的实验，我们展示了FFM在离线到在线设置中有效微调预训练流政策，并能够在在线强化学习中从零开始高效、准确地训练流政策。这些结果确立了固定点流匹配作为一种无需训练数据的表达性流政策学习方法。

🔬 方法详解

问题定义：本文旨在解决在线强化学习中缺乏训练数据的问题，现有方法依赖于训练数据，导致无法有效生成复杂的Boltzmann分布样本。

核心思路：论文提出的固定点流匹配（FFM）方法通过固定点迭代来更新策略，利用目标流的特性，避免了对训练数据的依赖，从而实现了无数据的流政策训练。

技术框架：FFM的整体架构包括两个主要模块：演员（Actor）和评论者（Critic）。演员通过固定点迭代更新策略，而评论者提供动作梯度作为回归目标，确保策略更新的有效性。

关键创新：FFM的主要创新在于将策略更新形式化为固定点迭代，并利用评论者的动作梯度作为回归目标，这一设计使得流政策的训练不再依赖于外部训练数据。

关键设计：在FFM中，损失函数采用流匹配风格的回归目标，确保评论者的动作梯度与演员的策略输出之间的有效对齐。此外，固定点迭代的设计确保了策略的收敛性和稳定性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，FFM在离线到在线设置中能够有效微调预训练的流政策，且在在线强化学习中从零开始训练流政策时，表现出显著的性能提升，具体提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等需要实时决策的场景。通过无数据的流政策训练，FFM能够在数据稀缺的环境中实现高效学习，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

In maximum entropy and behavior-constrained reinforcement learning (RL), the optimal policy is given by a Boltzmann distribution. Generating samples from this distribution can be challenging, as it is often complex and multimodal. While flow policies trained with flow matching provide a powerful framework for representing such distributions, they traditionally rely on access to training data, which is generally unavailable in online RL. To address this limitation, we propose fixed-point flow matching (FFM), a data-free procedure for training and fine-tuning flow policies in RL. FFM leverages the target flow identity to formulate the actor update as a fixed-point iteration, utilizing a flow-matching-style regression objective where the critic's action gradients serve as regression targets. We show that the optimal policy is a fixed point of this iteration. Through extensive experiments, we demonstrate that FFM effectively fine-tunes pretrained flow policies in the offline-to-online setting and enables efficient and accurate training of flow policies from scratch in online RL. These results establish fixed-point flow matching as a principled approach for learning expressive flow-based policies without requiring training data.