$σ$Transfer: Uncertainty Transfer from Small to Large Networks under $μ\mathrm{P}$

📄 arXiv: 2610.11668v1 📥 PDF

作者: Richard Bergna, Fernando Ruiz Mazo, Nicolò Felicioni, José Miguel Hernández-Lobato, Kamil Ciosek

分类: stat.ML, cs.LG

发布日期: 2026-10-08

💡 一句话要点

提出$σ$Transfer以实现小模型到大模型的不确定性转移

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 不确定性转移 深度学习 模型压缩 拉普拉斯近似 最大更新参数化 高效训练 神经网络

📋 核心要点

  1. 现有方法在选择先验精度时需要进行后验搜索，这在大规模神经网络中代价高昂，限制了其应用。
  2. 本文提出$σ ext{Transfer}$方法，通过在小模型上选择先验精度并转移到大模型，避免了大模型的精度搜索。
  3. 实验结果显示，$σ ext{Transfer}$在多个任务上实现了显著的速度提升，精度搜索速度提升可达$ ext{5000} imes$，且目标-NLL增加极小。

📝 摘要（中文）

在拉普拉斯近似中，可靠的预测不确定性依赖于先验精度的选择，而对于具有数十亿参数的神经网络，这一选择过程通常代价高昂。本文在最大更新参数化($μ ext{P}$)下，推导出一种先验协方差的重标定方法，使得随着模型宽度的增加，所选精度保持稳定。通过$σ ext{Transfer}$方法，我们在较小模型上选择精度，并将其零-shot转移到更大的模型上，而无需在大模型上进行精度搜索。实验表明，该方法在回归、图像分类和Transformer输出中均表现出优越性，精度搜索速度提升可达$ ext{5000} imes$，并且在多个任务中目标-NLL的增加均低于$10^{-4}$。

🔬 方法详解

问题定义：本文解决的是在大规模神经网络中选择先验精度的高昂代价问题。现有方法需要在每个模型上进行后验搜索，导致效率低下。

核心思路：论文提出的$σ ext{Transfer}$方法通过在小模型上选择先验精度，并将其零-shot转移到大模型，避免了在大模型上进行精度搜索，从而提高了效率。

技术框架：该方法的整体架构包括两个主要阶段：首先在小模型上进行先验精度的选择，然后将该精度直接应用于大模型。通过最大更新参数化($μ ext{P}$)确保先验协方差的稳定性。

关键创新：最重要的技术创新在于通过重标定先验协方差，使得随着模型宽度的增加，所选精度保持稳定。这一设计与传统方法的本质区别在于避免了在大模型上进行昂贵的后验搜索。

关键设计：在模型设计中，采用了特定的损失函数和网络结构，以确保在小模型上选择的精度能够有效转移到大模型。同时，实验中对模型宽度和目标-NLL进行了严格控制，以验证方法的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，$σ ext{Transfer}$在从宽度128到4096的转移中，精度搜索速度提升达到$ ext{5000} imes$，在目标-NLL的降级仅为$0.002$的情况下实现。此外，从1B模型转移到7B模型的中位搜索速度提升为$ ext{2.3} imes$，最高可达$ ext{330} imes$，且在十个任务中平均目标-NLL增加低于$10^{-4}$。

🎯 应用场景

该研究的潜在应用领域包括大规模深度学习模型的训练与优化，尤其是在需要快速迭代和高效资源利用的场景中。通过有效转移不确定性，$σ ext{Transfer}$能够在实际应用中显著降低计算成本，提高模型的可靠性和效率。

📄 摘要（原文）

Reliable predictive uncertainty in Laplace approximations depends critically on the prior precision, yet selecting it requires a posterior sweep that is prohibitively expensive for neural networks with billions of parameters. Under the Maximal Update Parametrization ($μ\mathrm{P}$), we derive a rescaling of the prior covariance that makes the selected precision stable as model width grows. This leads to $σ\mathrm{Transfer}$: we select the precision on a smaller model and zero-shot transfer it to the much larger model, i.e., without searching for the precision on the larger model at all. We show convergence of the prior kernel, posterior covariance, selected precision, and posterior-derived decisions under explicit conditions, and verify $σ\mathrm{Transfer}$ across regression, image classification, and Transformer readouts. For example, measured precision-sweep speedups reach $\sim 5000\times$ when transferring from width 128 to 4096 on MNIST, at a target-NLL degradation of $0.002$; transferring from a public 1B to 7B model gives a median search speedup of $\sim 2.3\times$ (up to $\sim 330\times$), with a mean measured target-NLL increase below $10^{-4}$ across ten tasks. The same posterior stability also enables transfer of acquisition, OOD-detection, and abstention decisions without constructing a target posterior.