Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters

📄 arXiv: 2604.03388 📥 PDF

作者: Haotian Xiang, Bingcong Li, Qin Lu

分类: cs.LG, stat.ML

发布日期: 2026-04-07

💡 一句话要点

提出PoLAR-VBLL，通过正交低秩适配器实现LLM的可扩展变分贝叶斯微调，提升不确定性量化。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 参数高效微调 不确定性量化 变分贝叶斯 低秩适配器 正交化 常识推理

📋 核心要点

  1. 现有方法在LLM微调后进行不确定性量化时，面临过度自信和可扩展性问题，后验方法依赖训练轨迹，变分贝叶斯方法计算成本高。
  2. 论文提出PoLAR-VBLL，结合正交化的低秩适配器（PoLAR）和变分贝叶斯推理，在微调过程中学习不确定性，提高校准效果。
  3. 实验表明，PoLAR-VBLL在常识推理任务中，能够有效提升泛化能力和不确定性估计的准确性，尤其是在分布外数据上。

📝 摘要（中文）

在将大型语言模型（LLM）部署到安全关键型应用中时，不确定性量化（UQ）对于自评估基于LLM的决策的可靠性至关重要。然而，此类决策通常存在过度自信的问题，尤其是在使用参数高效微调（PEFT）针对数据有限的下游特定领域任务进行微调之后。现有的缓解此问题的方法要么依赖于基于拉普拉斯近似的后验框架，这可能导致次优校准，具体取决于训练轨迹，要么依赖于变分贝叶斯训练，这需要在推理时通过整个LLM骨干网络进行多次完整的前向传递以进行蒙特卡洛估计，从而对部署的可扩展性构成挑战。为了解决这些限制，我们构建在贝叶斯最后一层（BLL）模型之上，其中基于LLM的确定性特征提取器之后是用于不确定性推理的随机最后一层参数。由于现有的用于PEFT的低秩适配器（LoRA）由于秩崩溃而具有有限的表达能力，因此我们使用极分解低秩适配器表示（PoLAR）来解决这个问题，这是一种与黎曼优化配对的正交参数化，以实现更稳定和更具表现力的适配。在此PoLAR-BLL模型的基础上，我们利用变分（V）推理框架提出了一种可扩展的贝叶斯微调方法，该方法通过交替优化共同寻找PoLAR参数和最后一层参数的近似后验。由此产生的PoLAR-VBLL是一个灵活的框架，它很好地集成了架构增强的优化和可扩展的贝叶斯推理，使LLM具有良好校准的UQ。我们的实验结果验证了PoLAR-VBLL在各种常识推理任务的同分布和异分布数据上的泛化和不确定性估计方面的有效性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在参数高效微调（PEFT）后，不确定性量化（UQ）不足的问题，即模型预测过度自信。现有方法，如基于拉普拉斯近似的后验方法，依赖于训练轨迹，可能导致次优校准；而变分贝叶斯方法需要多次前向传播，计算成本高，难以扩展。

核心思路：论文的核心思路是将正交化的低秩适配器（PoLAR）与变分贝叶斯推理相结合，构建PoLAR-VBLL模型。通过PoLAR增强模型的表达能力和训练稳定性，同时利用变分贝叶斯方法在微调过程中学习最后一层参数的近似后验分布，从而实现可扩展且校准良好的不确定性量化。

技术框架：PoLAR-VBLL模型的技术框架主要包括以下几个部分：1) LLM骨干网络作为确定性特征提取器；2) PoLAR模块，用于参数高效微调；3) 贝叶斯最后一层（BLL），用于不确定性推理；4) 变分推理框架，用于联合优化PoLAR参数和BLL参数的后验分布。整体流程是，首先使用LLM提取特征，然后通过PoLAR进行领域适配，最后利用BLL进行不确定性估计。

关键创新：论文的关键创新在于以下两点：1) 提出Polar-decomposed Low-rank Adapter Representation (PoLAR)，通过正交化参数表示和黎曼优化，解决了传统LoRA的秩崩溃问题，提升了适配器的表达能力和训练稳定性。2) 将PoLAR与变分贝叶斯推理相结合，实现了可扩展的贝叶斯微调，避免了推理时多次前向传播的计算负担，同时提升了不确定性量化的准确性。

关键设计：PoLAR的关键设计在于其参数化方式，它将低秩矩阵分解为正交矩阵和三角矩阵的乘积，并通过黎曼优化来更新正交矩阵，从而保证参数的正交性。变分推理的关键设计在于选择合适的后验分布族（如高斯分布），并使用交替优化算法（如坐标上升法）来求解变分下界，从而得到PoLAR参数和BLL参数的近似后验分布。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，PoLAR-VBLL在常识推理任务中，相较于基线方法，能够显著提升泛化能力和不确定性估计的准确性。尤其是在分布外数据上，PoLAR-VBLL表现出更强的鲁棒性。具体的性能数据需要在论文中查找，例如在特定数据集上的准确率提升百分比，以及校准误差的降低幅度。

🎯 应用场景

该研究成果可应用于安全关键型领域，例如医疗诊断、自动驾驶和金融风控等。在这些领域中，模型决策的可靠性至关重要，不确定性量化可以帮助识别模型可能出错的情况，从而采取相应的安全措施。此外，该方法还可以用于提高LLM在数据稀缺场景下的泛化能力。

📄 摘要（原文）

When deploying large language models (LLMs) to safety-critical applications, uncertainty quantification (UQ) is of utmost importance to self-assess the reliability of the LLM-based decisions. However, such decisions typically suffer from overconfidence, particularly after parameter-efficient fine-tuning (PEFT) for downstream domain-specific tasks with limited data. Existing methods to alleviate this issue either rely on Laplace approximation based post-hoc framework, which may yield suboptimal calibration depending on the training trajectory, or variational Bayesian training that requires multiple complete forward passes through the entire LLM backbone at inference time for Monte Carlo estimation, posing scalability challenges for deployment. To address these limitations, we build on the Bayesian last layer (BLL) model, where the LLM-based deterministic feature extractor is followed by random last layer parameters for uncertainty reasoning. Since existing low-rank adapters (LoRA) for PEFT have limited expressiveness due to rank collapse, we address this with Polar-decomposed Low-rank Adapter Representation (PoLAR), an orthogonalized parameterization paired with Riemannian optimization to enable more stable and expressive adaptation. Building on this PoLAR-BLL model, we leverage the variational (V) inference framework to put forth a scalable Bayesian fine-tuning approach which jointly seeks the PoLAR parameters and approximate posterior of the last layer parameters via alternating optimization. The resulting PoLAR-VBLL is a flexible framework that nicely integrates architecture-enhanced optimization with scalable Bayesian inference to endow LLMs with well-calibrated UQ. Our empirical results verify the effectiveness of PoLAR-VBLL in terms of generalization and uncertainty estimation on both in-distribution and out-of-distribution data for various common-sense reasoning tasks.