Value-Rectified Distillation for Flow-based Offline Reinforcement Learning

📄 arXiv: 2610.29075v1 📥 PDF

作者: Ke Jiang, Wen Jiang, Yoshinobu Kawahara, Xiaoyang Tan

分类: cs.LG, cs.AI

发布日期: 2026-10-21

期刊: K. Jiang, W. Jiang, Y. Kawahara, and X. Tan, "Value-Rectified Distillation for Flow-based Offline Reinforcement Learning," Advances in Neural Information Processing Systems 39, 2026

💡 一句话要点

提出价值修正蒸馏以解决离线强化学习中的OOD模式平均问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 价值修正蒸馏 流匹配 多模态数据 行为策略 生成轨迹对齐 动态耦合机制 非专家数据集

📋 核心要点

  1. 现有的蒸馏方法在处理多模态数据集时，容易导致策略在不同行为模式之间插值，产生无效的动作。
  2. 本文提出的价值修正蒸馏（VRD）框架，通过价值引导的生成轨迹对齐，解决了OOD模式平均问题。
  3. 实验结果表明，VRD在多个基准测试中显著提升了生成基线的性能，尤其是在复杂的多模态任务中。

📝 摘要（中文）

本文旨在解决离线强化学习中蒸馏基于流匹配的行为策略时出现的分布外模式平均问题。在多模态数据集上，标准蒸馏方法会强迫策略在不同的行为模式之间插值，导致生成的动作坍缩到无效的分布外区域。为此，本文提出了一种新颖的框架——价值修正蒸馏（VRD），将离线策略蒸馏重新定义为一个价值引导的生成轨迹对齐问题。通过动态耦合机制，VRD主动修正流动动态，明确解耦不同的行为模式，干净地隔离高价值动作。我们通过两种互补算法实例化VRD：VRD-Q和VRD-R，前者利用价值分位行为蒸馏统计过滤低价值行为，后者则重组潜在空间几何上隔离高价值生成轨迹。大量实证评估表明，VRD在D4RL、OGBench和Minari基准上的多种连续控制和规划任务中改善了现有生成基线，尤其是在多模态非专家数据集上表现突出。

🔬 方法详解

问题定义：本文要解决的具体问题是离线强化学习中蒸馏基于流匹配的行为策略时出现的分布外模式平均（OOD Mode Averaging）问题。现有方法在多模态数据集上容易导致策略生成无效动作，影响学习效果。

核心思路：论文的核心解决思路是通过价值修正蒸馏（VRD）框架，将离线策略蒸馏视为一个价值引导的生成轨迹对齐问题。通过动态耦合机制，VRD能够主动修正流动动态，明确解耦不同的行为模式，从而有效隔离高价值动作。

技术框架：VRD的整体架构包括两个主要算法：VRD-Q和VRD-R。VRD-Q利用价值分位行为蒸馏来统计过滤低价值行为，而VRD-R则重组潜在空间，几何上隔离高价值生成轨迹。

关键创新：本文的最重要技术创新在于提出了动态耦合机制，能够有效地修正流动动态，避免了标准蒸馏方法导致的无效动作生成。这一机制与现有方法的本质区别在于其主动性和针对性。

关键设计：在关键设计方面，VRD-Q采用了价值分位损失函数，以确保低价值行为被有效过滤；而VRD-R则通过重组潜在空间的方式，确保高价值轨迹的几何隔离，提升了生成策略的有效性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VRD在D4RL、OGBench和Minari基准测试中，相较于现有生成基线，性能提升显著，尤其在多模态非专家数据集上，VRD-Q和VRD-R分别提高了策略的有效性和稳定性，展示了其优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等需要处理复杂决策的场景。通过改善离线强化学习的策略生成能力，VRD能够在多模态环境中实现更高效的学习，提升智能体的决策质量，具有重要的实际价值和未来影响。

📄 摘要（原文）

We aim to address the problem of Out-of-Distribution (OOD) Mode Averaging, a critical problem that emerges when distilling Flow Matching (FM) based behavior policies in offline Reinforcement Learning (RL): When learning over multi-modal datasets, standard distillation inadvertently forces the policy to interpolate across different behavioral modes, causing the generated actions to collapse into invalid, OOD regions. To resolve this, we propose Value-Rectified Distillation (VRD), a novel framework that reformulates offline policy distillation as a value-guided generative trajectory alignment problem. By employing a dynamic coupling mechanism, VRD actively rectifies flow dynamics to explicitly decouple distinct behavioral modes, cleanly isolating high-value actions. Specifically, we instantiate VRD through two complementary algorithms: VRD-Q, which utilizes value-quantile behavior distillation to statistically filter out low-value behaviors, and VRD-R, which reorganizes the latent space to geometrically isolate high-value generative trajectories from the FM-based behavior policy. Extensive empirical evaluations demonstrate that VRD improves existing generative baselines across diverse continuous control and planning tasks on the D4RL, OGBench, and Minari benchmarks, especially over those multi-modal, non-expert datasets.