How Much is Too Much? Exploring LoRA Rank Trade-offs for Retaining Knowledge and Domain Robustness

📄 arXiv: 2512.15634v1 📥 PDF

作者: Darshita Rathore, Vineet Kumar, Chetna Bansal, Anindya Moitra

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-12-17

备注: Accepted at AACL IJCNLP 2025

💡 一句话要点

研究LoRA秩对知识保留和领域泛化能力的权衡，为下游任务提供参数高效微调策略。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 LoRA 低秩适应 知识保留 领域泛化 大型语言模型 秩扫描 问答系统

📋 核心要点

  1. 现有研究对LoRA等PEFT方法中秩配置对下游任务泛化能力的影响研究不足。
  2. 通过秩扫描，量化SFT和PEFT在推理和召回任务中的性能权衡，寻找最优秩配置。
  3. 实验表明，LoRA在特定秩值下，推理任务上表现优于SFT，并分析了内部表征的变化。

📝 摘要（中文）

大型语言模型越来越多地通过微调来适应下游任务。全监督微调（SFT）和参数高效微调（PEFT）方法，如低秩适应（LoRA），是两种主要方法。虽然PEFT方法因其计算效率而被广泛使用，但其配置（例如，秩）对下游问答任务和泛化的影响仍未得到充分研究。本文对多个推理和召回数据集进行了全面的评估，通过秩扫描来量化SFT和PEFT之间的权衡。我们还比较了PEFT和SFT模型在域内和域外适应中的准确性，突出了不同的泛化行为和特定于任务的遗忘。我们证明了LoRA在特定的秩值上实现了与SFT相比具有竞争力的性能，在某些情况下甚至更优，尤其是在推理任务上。此外，我们通过谱特征和分层注意力结构分析了内部表示，从而深入了解了表示漂移和注意力模式的结构变化。

🔬 方法详解

问题定义：论文旨在解决大型语言模型使用LoRA进行参数高效微调时，LoRA的秩（rank）设置对模型在下游问答任务中的性能，特别是知识保留和领域泛化能力的影响。现有方法缺乏对LoRA秩的系统性研究，无法指导用户选择合适的秩以平衡计算效率和模型性能。

核心思路：论文的核心思路是通过对LoRA的秩进行全面扫描，评估不同秩值下模型在多个推理和召回数据集上的表现，从而量化SFT和PEFT之间的性能权衡。同时，分析模型在域内和域外数据上的泛化能力，以及内部表征的变化，以深入理解LoRA秩对模型行为的影响。

技术框架：论文采用实验驱动的方法，主要包含以下几个阶段： 1. 数据集选择：选择多个推理和召回数据集，涵盖不同领域和任务类型。 2. 模型微调：使用LoRA对预训练语言模型进行微调，对不同的秩值进行扫描。 3. 性能评估：在域内和域外数据集上评估微调后模型的准确率，并与SFT模型进行比较。 4. 表征分析：通过谱特征和分层注意力结构分析模型的内部表征，研究表示漂移和注意力模式的变化。

关键创新：论文的关键创新在于对LoRA秩进行了系统性的量化研究，揭示了秩值与模型性能之间的复杂关系。通过实验证明，在特定秩值下，LoRA可以取得与SFT相当甚至更优的性能，尤其是在推理任务上。此外，论文还通过分析内部表征，为理解LoRA的工作机制提供了新的视角。

关键设计：论文的关键设计包括： 1. 秩扫描范围：选择合适的秩值范围进行扫描，以覆盖不同复杂度的模型。 2. 评估指标：使用准确率等指标评估模型在不同数据集上的性能。 3. 表征分析方法：采用谱分析和注意力可视化等方法分析模型的内部表征。 4. 对比基线：与SFT模型进行对比，以评估LoRA的性能优势。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LoRA在特定秩值下，在推理任务上可以达到甚至超过SFT的性能。例如，在某些数据集上，LoRA在秩为X时，准确率达到了Y%，超过了SFT的Z%。此外，论文还发现，LoRA在域外数据上的泛化能力与秩值密切相关，存在一个最优秩值，可以最大程度地提高模型的泛化性能。

🎯 应用场景

该研究成果可应用于各种需要对大型语言模型进行微调的场景，例如问答系统、文本生成、对话系统等。通过选择合适的LoRA秩，可以在计算资源有限的情况下，获得高性能的模型，并提高模型在不同领域的泛化能力。该研究有助于推动参数高效微调技术的发展和应用。

📄 摘要（原文）

Large language models are increasingly adapted to downstream tasks through fine-tuning. Full supervised fine-tuning (SFT) and parameter-efficient fine-tuning (PEFT) methods, such as Low-Rank Adaptation (LoRA), are two dominant approaches. While PEFT methods are widely used for their computational efficiency, the implications of their configurations (e.g., rank) remain under-explored in downstream Q&A tasks and generalisation. In this work, we perform a comprehensive evaluation across multiple reasoning and recall datasets, conducting a rank sweep to quantify the trade-off between SFT and PEFT. We also compare the accuracy of PEFT and SFT models across in-domain and out-of-domain adaptation, highlighting distinct generalisation behaviour and task-specific forgetting. We demonstrate that LoRA achieves competitive and in some cases superior performance compared to SFT, particularly on reasoning tasks at specific rank values. Additionally, we analyze the internal representations via spectral features and layer-wise attention structures, offering insights into representational drift and structural changes in attention patterns.