RLFR: Extending Reinforcement Learning for LLMs with Flow Environment

📄 arXiv: 2510.10201v1 📥 PDF

作者: Jinghao Zhang, Naishan Zheng, Ruilin Li, Dongzhou Cheng, Zheming Liang, Feng Zhao, Jiaqi Wang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-10-11

备注: Project Website: https://jinghaoleven.github.io/RLFR/

💡 一句话要点

提出RLFR：利用流环境扩展LLM的强化学习，提升推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大型语言模型 奖励塑造 流环境 潜在空间 推理能力 离线学习

📋 核心要点

  1. 现有RLVR方法采用二元验证，忽略了推理轨迹中的潜在价值探索，限制了LLM推理能力的提升。
  2. RLFR利用模型潜在空间的流场信息，通过量化策略潜在变量在流场中的速度偏差，作为奖励信号，引导模型探索。
  3. 实验证明，RLFR能够有效利用离线专家数据，并在语言和多模态推理任务上取得了可靠的性能提升。

📝 摘要（中文）

本文提出了一种名为RLFR的新方法，旨在通过流环境扩展大型语言模型（LLM）的强化学习，以提升其推理能力。现有基于可验证奖励的强化学习（RLVR）方法，虽然有效，但二元验证方式容易忽略推理轨迹中潜在的宝贵探索。针对黄金过程奖励模型（PRM）标注成本高昂的问题，现有工作尝试利用来自logit空间的熵和似然等辅助信号进行过程token的奖励塑造。RLFR从潜在空间出发，构建基于高质量离线数据和在线拒绝采样数据的模型潜在变量的流场，并通过量化策略潜在变量在流场中的速度偏差作为奖励信号。实验表明，完善的流场可以作为奖励信号收集的可靠环境，突出了潜在空间的表达能力。此外，RLFR能够压缩任何离线专家数据作为奖励信号的参考，并利用隐藏状态中压缩的上下文依赖性，而非token级别的表示来理解上下文。在语言和多模态推理基准测试上的实验结果验证了流奖励的可靠性，并为利用辅助信号进行奖励塑造提供了一种有前景的范例。

🔬 方法详解

问题定义：现有基于可验证奖励的强化学习方法（RLVR）在优化LLM推理能力时，采用二元验证方式，容易忽略推理过程中有价值的探索路径。同时，获取高质量的过程奖励模型（PRM）需要高昂的标注成本，限制了其应用范围。因此，如何高效地利用辅助信号进行奖励塑造，引导LLM进行更有效的推理探索，是本文要解决的核心问题。

核心思路：本文的核心思路是利用模型潜在空间的流场信息，构建一个能够反映高质量数据分布的流环境。通过计算策略生成的潜在变量在该流场中的速度偏差，作为奖励信号，引导模型学习更接近高质量数据的推理路径。这种方法能够有效利用离线专家数据，并避免了对过程奖励的直接标注。

技术框架：RLFR的整体框架包括以下几个主要阶段：1) 利用离线高质量数据或在线拒绝采样数据，构建模型潜在空间的流场；2) 使用强化学习算法（如PPO）训练LLM，在每个时间步，将模型生成的潜在变量输入到流场中，计算其速度偏差；3) 将速度偏差作为奖励信号，用于更新LLM的策略。

关键创新：RLFR的关键创新在于：1) 提出了利用模型潜在空间的流场信息进行奖励塑造的新方法；2) 能够有效压缩和利用离线专家数据，作为奖励信号的参考；3) 强调利用隐藏状态中压缩的上下文依赖性，而非token级别的表示来理解上下文。

关键设计：RLFR的关键设计包括：1) 流场的构建方式：可以使用各种密度估计方法，如高斯混合模型或神经常微分方程（Neural ODE）等；2) 速度偏差的计算方式：可以使用欧几里得距离或余弦相似度等度量；3) 奖励信号的缩放和调整：需要根据具体任务进行调整，以保证训练的稳定性和收敛性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RLFR在语言和多模态推理基准测试上均取得了显著的性能提升。具体而言，RLFR能够有效利用离线专家数据，并在一定程度上超越了传统的基于人工标注的奖励塑造方法。这表明，利用模型潜在空间的流场信息进行奖励塑造是一种有前景的范例。

🎯 应用场景

RLFR方法具有广泛的应用前景，可应用于各种需要复杂推理能力的自然语言处理任务，例如问答系统、文本摘要、机器翻译等。通过利用离线专家数据和流环境信息，RLFR能够有效提升LLM的推理能力和生成质量，从而提高相关应用的性能和用户体验。此外，该方法还可以扩展到其他领域，例如机器人控制和游戏AI等。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards (RLVR) has recently emerged as a promising framework for improving reasoning abilities in Large Language Models (LLMs). However, policy optimized with binary verification prone to overlook potential valuable exploration in reasoning trajectory. In view of heavy annotation cost of golden Process Reward Models (PRMs), recent works attempt using auxiliary signals for reward shaping of process tokens, involving entropy and likelihood collected from logit space. In this work, we offer a novel perspective on shaping RLVR with flow rewards derived from latent space, and propose RLFR, where the flow fields of model latents are constructed from either off-policy high-quality data and on-policy rejection sampling data, and the velocity deviations of policy latents within it are quantified to serve as a reward signal. RLFR first demonstrates that a well-established flow field can be a sound environment for reward signal collection, highlighting the expressive latent space is much underexplored. Moreover, RLFR is able to compress any off-policy expert data as reference for constituting reward signals, and we show that the efficient context dependence compressed within the hidden states are utilized, rather than individual token-level denotation for context comprehending. Experiments on both language and multimodal reasoning benchmarks demonstrate the reliability of flow rewards, and suggesting a promising paradigm for reward shaping with auxiliary signals.