Multivariate Distributional Reinforcement Learning Using Sliced Divergences

📄 arXiv: 2605.31222v1 📥 PDF

作者: Baptiste Debes, Tinne Tuytelaars

分类: cs.LG

发布日期: 2026-05-29

💡 一句话要点

提出基于切片散度的多元分布强化学习方法，解决高维回报分布建模难题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 分布强化学习 多元回报 切片散度 贝尔曼收缩 Wasserstein距离

📋 核心要点

  1. 传统DRL难以有效处理多元回报分布，常用度量标准在高维空间失效或计算复杂度过高。
  2. SDRL通过投影将高维分布降维到一维，利用一维散度进行计算，提升了计算效率和可扩展性。
  3. 实验证明SDRL在多种环境中表现良好，验证了其在多元回报分布强化学习中的有效性。

📝 摘要（中文）

分布强化学习(DRL)对完整的回报分布进行建模，而非仅关注期望值，但将其扩展到多元环境仍然具有挑战性。许多常用的度量标准无法自然地推广到一维以上，或者会丧失计算上的易处理性。多元情况还引入了额外的困难，例如一般矩阵折扣，目前还没有可用的收缩结果。我们提出了切片分布强化学习(SDRL)，它通过投影将易于处理的一维散度提升到多元回报分布。我们证明了在共享标量折扣下，均匀切片的Bellman收缩性，并引入了一种最大切片变体，该变体在一般稠密折扣矩阵下具有收缩性。SDRL支持广泛的基础散度类别；我们分析了Wasserstein、Cramér和最大均值差异(MMD)，并描述了哪些SDRL变体适合分布强化学习中使用的标准单样本Bellman更新。我们在一个玩具链问题、一个基于网格世界的图像环境以及Atari游戏的一个子集上评估了SDRL。

🔬 方法详解

问题定义：论文旨在解决多元分布强化学习中，对高维回报分布进行建模的难题。现有的分布强化学习方法主要集中在一维回报分布的建模上，当回报是多元的（例如，多个目标或多个奖励信号）时，这些方法要么无法直接应用，要么计算复杂度过高，难以实际应用。此外，多元情况下的折扣矩阵也缺乏相应的理论保证。

核心思路：论文的核心思路是通过“切片”的方式，将高维的回报分布投影到多个一维空间上，然后在这些一维空间上计算分布之间的散度。通过这种降维的方式，可以利用已有的、成熟的一维分布强化学习方法，同时避免了直接在高维空间中进行计算的困难。论文的关键在于如何选择合适的切片方式，以及如何保证切片后的结果能够有效地反映原始高维分布的信息。

技术框架：SDRL的整体框架可以分为以下几个步骤：1. 从经验回放缓冲区中采样一批样本。2. 对于每个样本，计算其回报分布。3. 对回报分布进行切片，得到多个一维分布。4. 在每个一维分布上，计算目标分布和当前分布之间的散度。5. 将所有一维散度加权求和，得到最终的损失函数。6. 使用梯度下降法更新策略网络。

关键创新：SDRL最重要的技术创新点在于它提出了一种基于切片散度的方法，将高维分布强化学习问题转化为多个一维分布强化学习问题。这种方法不仅降低了计算复杂度，而且使得已有的、成熟的一维分布强化学习方法可以被直接应用。此外，论文还提出了两种不同的切片策略：均匀切片和最大切片，并分别给出了相应的理论保证。

关键设计：SDRL的关键设计包括：1. 切片方式的选择：论文提出了均匀切片和最大切片两种策略。均匀切片简单易实现，但可能无法充分利用数据的信息。最大切片通过最大化切片后的一维分布之间的散度来选择切片方向，能够更好地反映原始高维分布的信息。2. 基础散度的选择：SDRL支持多种基础散度，包括Wasserstein距离、Cramér距离和最大均值差异(MMD)。论文分析了不同散度在SDRL中的适用性，并给出了相应的建议。3. 折扣矩阵的处理：论文针对一般稠密折扣矩阵，提出了相应的Bellman收缩性证明，为SDRL的理论基础提供了保障。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SDRL在玩具链问题、网格世界图像环境以及Atari游戏子集上均取得了良好的效果。例如，在Atari游戏中，SDRL在某些游戏上的表现优于传统的分布强化学习方法。此外，最大切片策略通常优于均匀切片策略，表明选择合适的切片方式对于SDRL的性能至关重要。

🎯 应用场景

SDRL可应用于具有多元奖励或多目标优化的强化学习任务，例如机器人控制、自动驾驶、推荐系统等。在这些场景中，智能体需要同时考虑多个目标，而SDRL能够有效地对多元回报分布进行建模，从而提升智能体的学习效率和性能。此外，SDRL还可以应用于金融领域，例如投资组合管理，其中回报是多种资产的收益率。

📄 摘要（原文）

Distributional reinforcement learning (DRL) models the full return distribution rather than expectations, but extending it to multivariate settings remains challenging. Many common metrics do not naturally generalize beyond one dimension or lose computational tractability, and the multivariate case introduces additional difficulties such as general matrix discounting, for which no contraction results are available. We introduce Sliced Distributional Reinforcement Learning (SDRL), which lifts tractable one-dimensional divergences to multivariate return distributions via projections. We prove Bellman contraction for uniform slicing under shared scalar discounting, and introduce a maximum-slicing variant with contraction under general dense discount matrices. SDRL supports a broad class of base divergences; we analyze Wasserstein, Cramér, and Maximum Mean Discrepancy (MMD), and characterize which SDRL variants suit the standard single-sample Bellman update used in distributional RL. We evaluate SDRL on a toy chain problem and a gridworld image-based environment as well as a subset of Atari games.