Universal Value-Function Uncertainties

📄 arXiv: 2505.21119v2 📥 PDF

作者: Moritz A. Zanger, Max Weltevrede, Yaniv Oren, Pascal R. Van der Vaart, Caroline Horsch, Wendelin Böhmer, Matthijs T. J. Spaan

分类: cs.LG, cs.AI, stat.ML

发布日期: 2025-05-27 (更新: 2025-06-02)

💡 一句话要点

提出通用价值函数不确定性(UVU)方法，高效量化强化学习中的价值不确定性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 不确定性量化 价值函数 离线强化学习 深度学习 策略优化

📋 核心要点

  1. 强化学习中，准确估计价值函数的不确定性是高效探索和安全决策的关键挑战。
  2. UVU通过在线学习器与固定随机初始化目标网络之间的预测误差平方来量化价值不确定性。
  3. 实验表明，UVU在多任务离线RL中达到与大型集成方法相当的性能，且计算成本更低。

📝 摘要（中文）

在强化学习(RL)中，估计价值函数中的认知不确定性对于高效探索、安全决策和离线RL至关重要。深度集成方法虽然能可靠地量化价值不确定性，但计算开销巨大。单模型方法虽然计算效率高，但通常依赖启发式方法，并且通常需要额外的传播机制来估计短视的不确定性。本文提出了通用价值函数不确定性(UVU)，它类似于随机网络蒸馏(RND)，将不确定性量化为在线学习器和固定的随机初始化目标网络之间的预测误差平方。与RND不同，UVU误差反映了策略条件价值不确定性，包含了任何给定策略可能遇到的未来不确定性。这是由于UVU中采用的训练过程：在线网络使用时序差分学习进行训练，其合成奖励来自固定的随机初始化目标网络。我们使用神经正切核(NTK)理论对我们的方法进行了广泛的理论分析，并表明在无限网络宽度的极限情况下，UVU误差与独立通用价值函数集成的方差完全等价。在实验上，我们表明UVU在具有挑战性的多任务离线RL设置中实现了与大型集成方法相当的性能，同时提供了简单性和显著的计算节省。

🔬 方法详解

问题定义：强化学习中，准确估计价值函数的不确定性至关重要，尤其是在离线强化学习和安全强化学习中。现有方法，如深度集成，计算成本高昂；而单模型方法则依赖启发式，难以准确捕捉不确定性。因此，如何高效且准确地量化价值函数的不确定性是一个关键问题。

核心思路：UVU的核心思路是利用一个固定的、随机初始化的目标网络作为“教师”，在线学习器作为“学生”，通过比较两者之间的预测差异来量化不确定性。这种差异反映了策略条件下的价值不确定性，因为在线学习器通过时序差分学习来逼近目标网络，从而包含了未来可能遇到的不确定性。

技术框架：UVU包含一个在线学习器和一个固定的随机初始化目标网络。在线学习器使用时序差分学习进行训练，但其奖励信号并非来自环境，而是来自目标网络的价值函数预测。具体来说，在线学习器试图最小化其价值函数预测与目标网络价值函数预测之间的差异。目标网络保持固定，不进行训练。

关键创新：UVU的关键创新在于其不确定性度量方式。与RND不同，UVU的不确定性度量是策略条件的，它反映了在给定策略下可能遇到的未来不确定性。此外，UVU通过理论分析证明，在无限网络宽度的极限情况下，其误差等价于独立通用价值函数集成的方差，从而提供了理论支撑。

关键设计：UVU的关键设计包括：1) 使用随机初始化的固定目标网络作为不确定性的参考；2) 使用目标网络的价值函数作为在线学习器的奖励信号；3) 通过时序差分学习来训练在线学习器，使其能够捕捉策略条件下的价值不确定性。损失函数通常是均方误差，用于衡量在线学习器和目标网络之间的预测差异。网络结构可以是任何标准的神经网络结构，如多层感知机或卷积神经网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UVU在具有挑战性的多任务离线RL环境中，能够达到与大型集成方法相当的性能，同时显著降低了计算成本。具体来说，UVU在多个Atari游戏和D4RL数据集上进行了评估，结果表明UVU能够有效地量化价值函数的不确定性，并提高策略的性能。与深度集成方法相比，UVU的计算速度提高了数倍。

🎯 应用场景

UVU可应用于各种强化学习场景，尤其是在需要安全决策和高效探索的领域，如机器人控制、自动驾驶和医疗决策。它还可以用于离线强化学习，通过量化价值函数的不确定性来提高策略评估和策略优化的可靠性。此外，UVU的计算效率使其适用于资源受限的设备和大规模强化学习问题。

📄 摘要（原文）

Estimating epistemic uncertainty in value functions is a crucial challenge for many aspects of reinforcement learning (RL), including efficient exploration, safe decision-making, and offline RL. While deep ensembles provide a robust method for quantifying value uncertainty, they come with significant computational overhead. Single-model methods, while computationally favorable, often rely on heuristics and typically require additional propagation mechanisms for myopic uncertainty estimates. In this work we introduce universal value-function uncertainties (UVU), which, similar in spirit to random network distillation (RND), quantify uncertainty as squared prediction errors between an online learner and a fixed, randomly initialized target network. Unlike RND, UVU errors reflect policy-conditional value uncertainty, incorporating the future uncertainties any given policy may encounter. This is due to the training procedure employed in UVU: the online network is trained using temporal difference learning with a synthetic reward derived from the fixed, randomly initialized target network. We provide an extensive theoretical analysis of our approach using neural tangent kernel (NTK) theory and show that in the limit of infinite network width, UVU errors are exactly equivalent to the variance of an ensemble of independent universal value functions. Empirically, we show that UVU achieves equal performance to large ensembles on challenging multi-task offline RL settings, while offering simplicity and substantial computational savings.