Stein Variational Distributional Reinforcement Learning: Score-Guided Particles for Multivariate Return Distributions

📄 arXiv: 2610.17925v1 📥 PDF

作者: Manuel Haußmann, Melih Kandemir

分类: cs.LG

发布日期: 2026-10-13

备注: preprint

💡 一句话要点

提出Stein变分分布强化学习以解决多元回报分布问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分布强化学习 Stein变分方法 多元回报 稀有事件处理 粒子评论者 贝尔曼递归 得分匹配 智能决策

📋 核心要点

  1. 现有的多元分布评论者在处理多个奖励信号时面临粒子数量与稀有事件处理能力之间的权衡，导致性能下降。
  2. 本文提出Stein变分分布强化学习（SVDRL），通过输出Stein粒子并在学习的得分场中进行优化，从而提高稀有事件的处理能力。
  3. 实验结果表明，SVDRL在稀有事件的准确性上优于传统粒子评论者，并在MuJoCo控制任务中表现出色。

📝 摘要（中文）

在需要权衡多个奖励信号的决策中，返回向量的联合分布至关重要。现有的分类评论者在奖励维度上呈指数级扩展，而分位数没有公认的多元类比。多元分布评论者通过M个等权重粒子来表示每个回报分布，然而这些粒子无法有效解决低于1/M的稀有事件。本文提出Stein变分分布强化学习（SVDRL），其评论者输出Stein粒子，通过学习的得分场在分布贝尔曼目标上进行Stein变分梯度下降。我们通过引导去噪得分匹配在不同噪声水平下学习该场，并通过一致性损失在贝尔曼递归中进行约束。实验表明，SVDRL在稀有事件的准确性上优于相同粒子数的粒子评论者，并在MuJoCo连续控制任务上表现相当。

🔬 方法详解

问题定义：本文旨在解决多元回报分布的表示与稀有事件处理问题。现有的粒子评论者在奖励维度上扩展性差，无法有效捕捉低概率事件。

核心思路：SVDRL通过引入Stein粒子和得分场的学习，优化了粒子在贝尔曼目标上的分布，提升了对稀有事件的处理能力。

技术框架：SVDRL的整体架构包括粒子生成、得分场学习和贝尔曼递归一致性约束三个主要模块。粒子通过Stein变分梯度下降进行优化。

关键创新：SVDRL的主要创新在于使用Stein粒子和得分场的结合，提供了一种新的粒子表示方式，克服了传统方法的局限性。

关键设计：在设计中，采用了引导去噪得分匹配技术，结合一致性损失函数，确保在不同噪声水平下的学习效果，同时保证了粒子的有效性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，SVDRL在处理稀有事件时的准确性显著高于相同粒子数的传统粒子评论者，且在MuJoCo连续控制任务中表现相当，验证了其在复杂环境中的有效性和优势。

🎯 应用场景

该研究在强化学习领域具有广泛的应用潜力，尤其是在需要处理复杂奖励结构的决策任务中，如金融投资、机器人控制和智能交通系统等。通过提高对稀有事件的处理能力，SVDRL能够在实际应用中提供更可靠的决策支持，推动智能系统的进一步发展。

📄 摘要（原文）

Decisions that weigh several reward signals against each other require the joint distribution of the return vector. Categorical critics scale exponentially in the reward dimension, and quantiles have no canonical multivariate analogue. Multivariate distributional critics therefore represent each return distribution by M equal-weight particles trained with a discrepancy loss. Beyond their atoms, the particles provide no sampler and cannot resolve events rarer than 1/M. We propose Stein variational distributional RL (SVDRL). Its critic outputs Stein particles, which Stein variational gradient descent transports along a learned score field of the distributional Bellman target. We learn this field by bootstrapped denoising score matching across noise levels and tie it across the Bellman recursion by a consistency loss, which we prove is a non-expansive temporal-difference scheme in score space. The same field certifies the particles. Its reverse-diffusion sampler satisfies a supremal Wasserstein policy-evaluation bound that holds for bounded, possibly multimodal returns. The Stein particles inherit this bound up to a gap that we measure without ground truth, and the sampler answers tail-risk queries below the particle resolution at any sample size. Empirically, SVDRL is more accurate on rare events than particle critics with the same number of particles, and on par on MuJoCo continuous control.