Decoupling Internal Representational Changes and Causal Importance in Fine-Tuned Large Language Models

📄 arXiv: 2609.21113v1 📥 PDF

作者: Lingfang Li, Procheta Sen, Shubham Das, Danushka Bollegala

分类: cs.AI

发布日期: 2026-09-17

💡 一句话要点

探讨微调如何影响大型语言模型的内部表示与因果重要性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 微调 内部表示 注意力机制 任务性能 功能局部化 迁移学习

📋 核心要点

  1. 现有方法对微调如何影响大型语言模型的内部表示缺乏深入理解，尤其是注意力模式和激活变化的关联性。
  2. 本文通过研究微调对LLMs内部表示的影响，探讨EAP识别的任务相关组件与模型性能之间的关系。
  3. 研究结果表明，EAP识别的组件在特定层中集中，且不同任务间的组件重叠并不保证性能转移，揭示了微调的复杂性。

📝 摘要（中文）

微调已成为适应大型语言模型（LLMs）于多种下游任务的广泛采用方法。然而，微调如何重塑其内部机制仍然不甚明了。为了解决这一问题，本文研究了微调如何改变LLMs的内部表示，包括注意力模式和层级激活，并考察这些变化是否与通过EAP识别的任务相关组件（如注意力头和logit级激活）相关联。研究发现，EAP识别的组件集中在特定层中，表明模型在内化任务特定行为时存在一定的功能局部化。此外，这些组件在层间的分布与微调过程中经历的最显著表示变化的层并无显著相关性。最后，观察到不同任务间EAP识别组件的重叠并不意味着跨任务性能转移，尤其是在任务性质不同（如分类与生成任务）时，微调一个任务可能导致另一个任务性能的下降。

🔬 方法详解

问题定义：本文旨在解决微调对大型语言模型内部表示的影响及其与任务性能之间的关系，现有研究对这一问题的理解尚不充分。

核心思路：通过分析微调过程中的注意力模式和层级激活变化，探讨这些变化与EAP识别的任务相关组件之间的联系，以揭示模型的功能局部化现象。

技术框架：研究采用了层级分析的方法，重点关注不同层的激活变化和注意力模式，结合EAP方法识别任务相关组件，形成一个系统的分析框架。

关键创新：本文的创新在于揭示了EAP识别的组件在特定层的集中分布与微调过程中表示变化层的非相关性，挑战了传统对模型微调的理解。

关键设计：研究中采用了多种任务进行微调，分析了不同任务间EAP组件的重叠情况，并考察了其对模型性能的影响，特别是在分类与生成任务之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EAP识别的任务相关组件在特定层中高度集中，而这些层的表示变化与任务性能之间并无显著相关性。此外，当任务性质不同（如分类与生成）时，EAP组件的重叠并未促进性能转移，反而可能导致性能下降。

🎯 应用场景

该研究为大型语言模型的微调提供了新的视角，揭示了内部表示变化与任务性能之间的复杂关系。这一发现对模型设计和优化具有重要意义，尤其是在多任务学习和迁移学习的应用场景中，能够帮助研究者更好地理解和利用模型的内部机制。

📄 摘要（原文）

Fine-tuning has emerged as a widely adopted approach for adapting LLMs to a variety of downstream tasks. However, how it reshapes their internal mechanisms remains poorly understood. To address this, we investigate how fine-tuning alters internal representations in LLMs, including attention patterns and layer-wise activations, and examine whether these changes are linked to task-relevant components identified by EAP (e.g., attention heads and logit-level activations) that drive task performance. We find that EAP-identified components are concentrated within specific layers, indicating a degree of functional localisation in how models internalise task-specific behavior. Notably, the distribution of these components across layers is largely uncorrelated with the layers undergoing the most substantial representational changes during fine-tuning. Furthermore, we observe that overlap in EAP-identified components across tasks does not translate into cross-task performance transfer if the tasks are different in nature (e.g. classification vs. generative tasks). More specifically, fine-tuning on one task can lead to a degradation of performance on another when the two tasks exhibit a high degree of overlap in their EAP-identified components.