On the Equivalence of Random Network Distillation, Deep Ensembles, and Bayesian Inference

📄 arXiv: 2602.19964 📥 PDF

作者: Moritz A. Zanger, Yijun Wu, Pascal R. Van der Vaart, Wendelin Böhmer, Matthijs T. J. Spaan

分类: cs.LG, cs.AI, math.PR, stat.ML

发布日期: 2026-02-28

💡 一句话要点

揭示随机网络蒸馏、深度集成和贝叶斯推断的等价性，用于高效不确定性量化。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 不确定性量化 随机网络蒸馏 深度集成 贝叶斯推断 神经正切核 后验抽样 深度学习

📋 核心要点

  1. 深度学习模型的不确定性量化至关重要，但现有方法在计算效率和理论支撑上存在不足。
  2. 论文通过神经正切核框架分析RND，揭示了其与深度集成和贝叶斯推断的理论等价性。
  3. 研究提出了基于RND的后验抽样算法，能够从精确的贝叶斯后验预测分布中生成样本。

📝 摘要（中文）

不确定性量化是深度学习模型安全高效部署的关键，但许多计算上可行的方法缺乏严格的理论基础。随机网络蒸馏(RND)是一种轻量级技术，通过预测误差与固定的随机目标进行比较来衡量新颖性。虽然RND在经验上有效，但RND衡量什么不确定性以及其估计如何与其他方法(如贝叶斯推断或深度集成)相关仍然不清楚。本文通过在无限网络宽度的神经正切核框架内分析RND，建立了这些缺失的理论联系。我们的分析揭示了两个核心发现：(1)来自RND的不确定性信号——其平方自预测误差——等价于深度集成的预测方差。(2)通过构建特定的RND目标函数，我们表明RND误差分布可以镜像宽神经网络贝叶斯推断的中心化后验预测分布。基于这种等价性，我们还设计了一种后验抽样算法，该算法使用这种修改后的“贝叶斯RND”模型从精确的贝叶斯后验预测分布中生成独立同分布的样本。总的来说，我们的发现提供了一个统一的理论视角，将RND置于深度集成和贝叶斯推断的原则框架内，并为高效且具有理论基础的不确定性量化方法提供了新的途径。

🔬 方法详解

问题定义：现有深度学习模型的不确定性量化方法，如深度集成，计算成本高昂，而随机网络蒸馏(RND)虽然计算效率高，但缺乏坚实的理论基础，导致难以理解其不确定性度量的含义，以及与其他不确定性量化方法的联系。

核心思路：论文的核心思路是在无限网络宽度的神经正切核(NTK)框架下，分析RND的性质，从而建立RND与深度集成和贝叶斯推断之间的理论联系。通过这种方式，将RND置于更严谨的理论框架中，并利用其高效性，为不确定性量化提供新的途径。

技术框架：论文主要通过理论分析来建立RND与其他方法的联系，并没有提出新的模型架构。其核心在于证明了在NTK极限下，RND的自预测误差等价于深度集成的预测方差，并且通过特定的目标函数设计，RND的误差分布可以逼近贝叶斯后验预测分布。基于此，论文提出了一个后验抽样算法，利用修改后的RND模型生成贝叶斯后验预测分布的样本。

关键创新：论文最重要的创新在于建立了RND与深度集成和贝叶斯推断之间的理论等价性。具体来说，证明了RND的自预测误差与深度集成的预测方差在NTK极限下是相同的，并且可以通过设计特定的RND目标函数来模拟贝叶斯后验预测分布。这为理解RND的不确定性度量提供了理论依据，并为设计高效的贝叶斯推断方法提供了新的思路。

关键设计：论文的关键设计在于如何构建RND的目标函数，使其误差分布能够逼近贝叶斯后验预测分布。具体来说，需要选择合适的目标函数，使得RND的误差分布的均值和方差与贝叶斯后验预测分布的均值和方差相匹配。此外，论文提出的后验抽样算法也依赖于对RND目标函数的修改，以确保生成的样本能够近似服从贝叶斯后验预测分布。

🖼️ 关键图片

fig_0

📊 实验亮点

论文通过理论分析证明了RND与深度集成和贝叶斯推断的等价性，并基于此提出了新的后验抽样算法。虽然论文侧重于理论分析，但其结论为RND的应用提供了更强的理论支撑，并为开发高效的不确定性量化方法奠定了基础。具体的性能数据和对比基线需要在后续的实验验证中进一步体现。

🎯 应用场景

该研究成果可应用于对模型不确定性有较高要求的领域，如自动驾驶、医疗诊断和金融风控。通过使用计算效率更高的RND方法，可以更准确地评估模型预测的不确定性，从而提高决策的可靠性和安全性。此外，该研究也为开发更高效的贝叶斯深度学习方法提供了新的思路。

📄 摘要（原文）

Uncertainty quantification is central to safe and efficient deployments of deep learning models, yet many computationally practical methods lack lacking rigorous theoretical motivation. Random network distillation (RND) is a lightweight technique that measures novelty via prediction errors against a fixed random target. While empirically effective, it has remained unclear what uncertainties RND measures and how its estimates relate to other approaches, e.g. Bayesian inference or deep ensembles. This paper establishes these missing theoretical connections by analyzing RND within the neural tangent kernel framework in the limit of infinite network width. Our analysis reveals two central findings in this limit: (1) The uncertainty signal from RND -- its squared self-predictive error -- is equivalent to the predictive variance of a deep ensemble. (2) By constructing a specific RND target function, we show that the RND error distribution can be made to mirror the centered posterior predictive distribution of Bayesian inference with wide neural networks. Based on this equivalence, we moreover devise a posterior sampling algorithm that generates i.i.d. samples from an exact Bayesian posterior predictive distribution using this modified \textit{Bayesian RND} model. Collectively, our findings provide a unified theoretical perspective that places RND within the principled frameworks of deep ensembles and Bayesian inference, and offer new avenues for efficient yet theoretically grounded uncertainty quantification methods.