Posterior-Averaged Bellman Flow Matching for Distributional Critics

📄 arXiv: 2610.17788v1 📥 PDF

作者: Zeqiao Li, Yijing Wang, Haoyu Wang, Zheng Li, Zhiqiang Zuo

分类: cs.LG, cs.AI

发布日期: 2026-10-13

💡 一句话要点

提出后验平均贝尔曼流匹配以优化分布式评论者

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 分布式评论者 贝尔曼流匹配 强化学习 风险敏感控制 流模型

📋 核心要点

  1. 现有的流评论者在使用贝尔曼目标时，依赖于学习的目标评论者，导致监督信号噪声较大。
  2. 本文提出PA-BFM，通过采样多个端点并推断后验，平均化速度以提高流评论者的性能。
  3. 实验表明，PA-BFM在50个OGBench任务中，均方误差降低79.7%，梯度方差降低98.0%，整体性能优于Value Flows。

📝 摘要（中文）

分布式评论者能够建模完整的回报分布，为探索和风险敏感控制提供更丰富的信号。近期研究表明，基于流的评论者能够灵活地建模这些分布，并在时间差学习中提供有效的监督。然而，现有方法在使用固定数据端点进行流匹配时存在不足。本文提出后验平均贝尔曼流匹配（PA-BFM），通过采样端点池，推断潜在锚点的闭式后验，并回归到后验均值速度。实验结果显示，PA-BFM在多个任务中显著降低了目标均方误差和梯度方差，同时提高了回报分布的保真度。

🔬 方法详解

问题定义：本文旨在解决现有流评论者在使用贝尔曼目标时的噪声问题，现有方法依赖于单一端点监督，导致性能不稳定。

核心思路：提出后验平均贝尔曼流匹配（PA-BFM），通过采样多个端点，推断潜在锚点的后验分布，从而平均化速度，提高流评论者的学习效果。

技术框架：PA-BFM的整体架构包括端点池的采样、后验推断和速度回归三个主要模块。首先，从多个贝尔曼目标中采样端点，然后推断出潜在锚点的后验分布，最后回归到后验均值速度。

关键创新：PA-BFM的创新在于引入了后验平均的概念，使得评论者能够在多个贝尔曼端点之间进行有效的速度平均，从而减少条件方差，提升学习稳定性。

关键设计：在设计中，采用均匀锚点选择策略，确保每个端点的贡献均衡，同时损失函数设计为最小化后验均值速度与实际速度之间的差异，确保学习过程的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PA-BFM在固定查询目标均方误差上降低了79.7%，在目标诱导梯度方差上降低了高达98.0%。在50个OGBench任务和四个离线到在线场景中，PA-BFM的整体性能显著优于现有的Value Flows方法。

🎯 应用场景

该研究的潜在应用领域包括强化学习、机器人控制和金融决策等。通过优化分布式评论者，PA-BFM能够在复杂环境中提供更可靠的决策支持，提升智能体的学习效率和稳定性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Distributional critics model the full return distribution, providing richer signals for exploration and risk-sensitive control. Recent work has shown that flow-based critics can model these distributions flexibly and provide effective supervision across flow time for temporal-difference learning. However, unlike standard flow matching with fixed data endpoints, a flow critic is trained on Bellman targets recursively generated by a learned target critic under the current policy. Existing objectives therefore either use noisy single-endpoint supervision or rely on the learned flow itself for additional guidance. Our key observation is that an intermediate bridge state may be compatible with several Bellman endpoints, so its velocity should average their directions under the corresponding posterior. We propose Posterior-Averaged Bellman Flow Matching (PA-BFM), which samples an endpoint pool, infers the closed-form posterior over the latent anchor, and regresses to the posterior-mean velocity. Uniform anchor selection makes this target an exact finite-pool Rao--Blackwellization of the single-endpoint target: for every (K), it preserves the population target, cannot increase conditional variance, and its conditional variance scales as (O(K^{-1})). The endpoint pool supports conservative updates, while the twin return flows provide critic-disagreement and unsupported-mass diagnostics. Controlled studies show that PA-BFM reduces fixed-query target mean-squared error by (79.7\%) and target-induced gradient variance by up to (98.0\%), while improving return-distribution fidelity. Across 50 OGBench tasks and four offline-to-online scenarios, PA-BFM achieves higher aggregate performance than Value Flows.