Spectral Insights into Data-Oblivious Critical Layers in Large Language Models

📄 arXiv: 2506.00382v2 📥 PDF

作者: Xuyuan Liu, Lei Hsiung, Yaoqing Yang, Yujun Yan

分类: cs.LG, cs.CL

发布日期: 2025-05-31 (更新: 2025-06-04)

备注: Accepted by Findings of ACL2025

💡 一句话要点

提出数据无关方法识别大型语言模型中的关键层

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 关键层识别 数据无关方法 中心核对齐 领域适应 后门防御 表示动态分析

📋 核心要点

  1. 现有方法通常依赖于微调后的模型进行数据依赖分析，限制了关键层的识别和应用。
  2. 论文提出了一种数据无关的方法，通过中心核对齐（CKA）分析表示动态，识别预调优模型中的关键层。
  3. 实验结果表明，微调关键层能显著降低损失，而冻结这些层可将攻击成功率降低多达40%。

📝 摘要（中文）

理解大型语言模型（LLMs）中特征表示如何在层间演变对于提高其可解释性和鲁棒性至关重要。尽管近期研究已识别出与特定功能或行为相关的关键层，但这些研究通常依赖于数据依赖的分析，限制了其在后期设置中的使用。相反，我们提出了一种数据无关的方法，通过分析表示动态来识别预调优LLMs中的内在关键层。我们表明，表示空间中显著变化的层在微调过程中受到的影响最大，这一模式在特定模型的不同任务中始终如一。我们的谱分析进一步揭示，这些变化是由主成分的变化驱动的，编码了从推理到结论的语义转变。我们还将这些发现应用于两个实际场景：高效的领域适应和后门防御。

🔬 方法详解

问题定义：本论文旨在解决如何在大型语言模型中识别关键层的问题。现有方法依赖于微调后的数据分析，限制了其在模型训练前的应用。

核心思路：我们提出了一种数据无关的方法，通过分析表示动态来识别关键层。这种方法不依赖于特定数据集，使得关键层的识别更具普适性。

技术框架：整体架构包括数据预处理、表示动态分析和关键层识别三个主要模块。首先，通过CKA分析不同层的表示变化，然后识别出表现出显著变化的层。

关键创新：本研究的主要创新在于提出了一种数据无关的分析方法，能够在未微调的模型中识别出关键层，突破了以往依赖于微调的限制。

关键设计：在技术细节上，使用CKA作为核心分析工具，关注主成分的变化，特别是与语义转变相关的主成分，以此来识别关键层。还设计了针对不同任务的实验设置，以验证方法的有效性。

📊 实验亮点

实验结果显示，微调关键层相比非关键层能显著降低损失，提升模型性能。此外，冻结关键层可将后门攻击的成功率降低多达40%，验证了方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括高效的领域适应和后门防御。在领域适应中，通过微调关键层可以显著提高模型的性能，而在后门防御中，冻结关键层能够有效降低攻击成功率。这些应用展示了该方法在实际场景中的重要价值和影响。

📄 摘要（原文）

Understanding how feature representations evolve across layers in large language models (LLMs) is key to improving their interpretability and robustness. While recent studies have identified critical layers linked to specific functions or behaviors, these efforts typically rely on data-dependent analyses of fine-tuned models, limiting their use to post-hoc settings. In contrast, we introduce a data-oblivious approach to identify intrinsic critical layers in pre-fine-tuned LLMs by analyzing representation dynamics via Centered Kernel Alignment(CKA). We show that layers with significant shifts in representation space are also those most affected during fine-tuning--a pattern that holds consistently across tasks for a given model. Our spectral analysis further reveals that these shifts are driven by changes in the top principal components, which encode semantic transitions from rationales to conclusions. We further apply these findings to two practical scenarios: efficient domain adaptation, where fine-tuning critical layers leads to greater loss reduction compared to non-critical layers; and backdoor defense, where freezing them reduces attack success rates by up to 40%.