Variance-Averse $n$-Step Offline Reinforcement Learning for Sparse Long-Horizon Environments

📄 arXiv: 2610.07899v1 📥 PDF

作者: Guhyeon Kang, Minhae Kwon

分类: cs.LG, cs.AI

发布日期: 2026-10-06

备注: Accepted at NeurIPS 2026

💡 一句话要点

提出VAN-Flow以解决稀疏长时间环境中的不可靠动作选择问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 生成性策略 方差厌恶 长时间决策 高方差环境

📋 核心要点

  1. 现有的生成性策略在异构数据集上可能重现高方差的动作模式，导致不可靠的回报。
  2. VAN-Flow通过引入方差厌恶期望算子和流匹配生成性演员，促进可靠动作的选择。
  3. 在超过40个任务中，VAN-Flow在长时间和高方差环境下显著超越强基线，提升效果明显。

📝 摘要（中文）

生成性演员正在通过建模复杂的动作分布来改变离线强化学习（RL），但这种表达能力也带来了异构数据集中的关键挑战：生成性策略可能会重现不可靠的动作模式，其回报分布表现出高方差。为了解决这一问题，本文提出了VAN-Flow（方差厌恶$n$步流），该框架通过引入分类分布式评论家和方差厌恶期望算子，促进生成性离线RL中的可靠动作选择。VAN-Flow在40多个D4RL和OGBench任务中表现优异，尤其在长时间和高方差的环境中，可靠动作选择至关重要。

🔬 方法详解

问题定义：本文旨在解决生成性离线强化学习中，因高方差导致的不可靠动作选择问题。现有方法在处理异构数据集时，往往无法有效识别可靠的高回报动作。

核心思路：VAN-Flow的核心思想是通过方差厌恶期望算子重新加权动作的概率，优先选择那些既具有高回报又低方差的动作，从而提高动作选择的可靠性。

技术框架：VAN-Flow框架主要由三个模块组成：1) 分类分布式评论家，2) 方差厌恶期望算子，3) 通过拒绝采样引导的流匹配生成性演员。这些模块协同工作，以优化动作选择过程。

关键创新：VAN-Flow的创新在于其方差厌恶期望算子能够平滑地重新分配概率质量，而不需要硬截断或辅助惩罚项，这与传统的CVaR或均值方差目标有本质区别。

关键设计：在设计上，VAN-Flow采用了分类分布式评论家来评估动作的回报，并通过方差厌恶期望算子调整动作的概率分布，确保选择的动作既高效又可靠。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在超过40个D4RL和OGBench任务中，VAN-Flow的表现显著优于强基线，尤其在长时间和高方差环境中，提升幅度最大，证明了其在可靠动作选择中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏AI等长时间决策任务。通过提升动作选择的可靠性，VAN-Flow能够在复杂环境中实现更高效的学习和决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Generative actors are transforming offline reinforcement learning (RL) by enabling expressive policy classes that model complex action distributions. However, this expressiveness also exposes a key challenge in heterogeneous datasets: generative policies can reproduce unreliable action modes whose return distributions exhibit high variance, occasionally yielding high returns by chance but lacking consistency. Consequently, maximizing the expected $Q$-value alone is insufficient for identifying reliable actions. We propose VAN-Flow (Variance-Averse $n$-step Flow), a framework that promotes reliable actions in generative offline RL. VAN-Flow combines (i) a categorical distributional critic, (ii) a variance-averse expectation operator that smoothly reweights atom probabilities to favor actions with both high returns and low dispersion, and (iii) a flow-matching generative actor guided via rejection sampling. Unlike CVaR or mean-variance objectives, the operator redistributes probability mass over the categorical return distribution without hard truncation or auxiliary penalty terms. Across more than 40 tasks from D4RL and OGBench, VAN-Flow consistently outperforms strong baselines, with the largest gains in long-horizon and high-variance regimes where reliable action selection becomes critical.