Gaussian Stochastic Weight Averaging for Bayesian Low-Rank Adaptation of Large Language Models

📄 arXiv: 2405.03425v2 📥 PDF

作者: Emre Onal, Klemens Flöge, Emma Caldwell, Arsen Sheverdin, Vincent Fortuin

分类: cs.CL

发布日期: 2024-05-06 (更新: 2024-07-20)

备注: 14 pages, 1 figure, 2 tables

💡 一句话要点

结合LoRA与高斯SWAG，提升大语言模型低秩适应的泛化与校准能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适应 LoRA 高斯随机权重平均 SWAG 贝叶斯推断 大语言模型 模型校准

📋 核心要点

  1. 微调LLM在小数据集上易过拟合，导致过度自信和校准差，影响模型可靠性。
  2. 结合LoRA的效率与SWAG的贝叶斯特性，实现LLM的低秩适应和不确定性建模。
  3. 实验表明，该方法在泛化性、校准性和分布外鲁棒性方面均优于现有方法。

📝 摘要（中文）

微调后的大语言模型(LLM)常常表现出过度自信和校准不良的问题，尤其是在小数据集上进行微调时。为了解决这些挑战，我们提出了一种简单的方法，将低秩适应(LoRA)与高斯随机权重平均(SWAG)相结合，从而促进LLM中的近似贝叶斯推断。通过在多个自然语言处理(NLP)基准测试中进行广泛的测试，我们证明了我们这种直接且计算高效的方法，在模型泛化和校准方面，可以与同类更复杂的LLM贝叶斯推断方法相媲美。我们进一步表明，我们的方法在分布偏移下表现出更强的鲁棒性，这反映在其在分布外任务上的改进性能。

🔬 方法详解

问题定义：论文旨在解决微调后的大语言模型在小数据集上容易出现的过拟合问题，具体表现为模型过度自信和校准不良。现有的微调方法往往忽略了模型的不确定性，导致在面对新数据时表现不佳。

核心思路：论文的核心思路是将低秩适应(LoRA)与高斯随机权重平均(SWAG)相结合。LoRA通过引入低秩矩阵来减少微调参数量，提高训练效率；SWAG则通过对多个模型权重进行平均，近似贝叶斯推断，从而对模型的不确定性进行建模。

技术框架：该方法首先使用LoRA对预训练的LLM进行微调，然后在训练过程中，使用SWAG记录多个模型权重。具体来说，在训练的后期阶段，定期保存模型的权重快照。然后，使用这些权重快照来计算权重均值和协方差矩阵，从而构建一个高斯分布，用于近似后验分布。

关键创新：该方法的主要创新在于将LoRA与SWAG巧妙地结合起来，既保证了微调的效率，又实现了对模型不确定性的建模。与传统的微调方法相比，该方法能够更好地泛化到新的数据，并提供更可靠的预测结果。与更复杂的贝叶斯推断方法相比，该方法更加简单高效。

关键设计：关键设计包括LoRA的秩的选择、SWAG的权重快照保存频率和数量、以及高斯分布的参数估计方法。论文中可能还涉及一些正则化技术，以防止过拟合。具体的损失函数通常是交叉熵损失，用于训练LoRA参数。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该方法在多个NLP基准测试中，与同类更复杂的贝叶斯推断方法相比，在模型泛化和校准方面具有竞争力。更重要的是，该方法在分布偏移下表现出更强的鲁棒性，在分布外任务上取得了显著的性能提升，证明了其在实际应用中的潜力。

🎯 应用场景

该研究成果可广泛应用于自然语言处理领域，尤其是在数据量有限的场景下，例如医疗文本分析、金融风险评估、法律文件处理等。通过提高模型的泛化能力和校准性，可以提升模型在实际应用中的可靠性和实用性，降低误判风险，并为决策提供更可靠的依据。

📄 摘要（原文）

Fine-tuned Large Language Models (LLMs) often suffer from overconfidence and poor calibration, particularly when fine-tuned on small datasets. To address these challenges, we propose a simple combination of Low-Rank Adaptation (LoRA) with Gaussian Stochastic Weight Averaging (SWAG), facilitating approximate Bayesian inference in LLMs. Through extensive testing across several Natural Language Processing (NLP) benchmarks, we demonstrate that our straightforward and computationally efficient approach improves model generalization and calibration competitively with comparable, more sophisticated methods for Bayesian inference in LLMs. We further show that our method exhibits greater robustness against distribution shift, as reflected in its improved performance on out-of-distribution tasks.