Mechanistic Interpretability of GPT-like Models on Summarization Tasks

📄 arXiv: 2505.17073v1 📥 PDF

作者: Anurag Mishra

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-05-20

备注: 8 pages (6 content + 2 references/appendix), 6 figures, 2 tables; under review for the ACL 2025 Student Research Workshop

💡 一句话要点

提出一种针对GPT类模型在摘要任务上的可解释性分析框架，并实现性能提升。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机制可解释性 摘要任务 GPT模型 注意力机制 LoRA微调 信息选择 模型优化

📋 核心要点

  1. 现有可解释性研究主要集中在分类或生成任务，缺乏对摘要任务的深入分析。
  2. 通过差异分析，定位模型中的“摘要回路”，揭示信息选择和压缩机制。
  3. 针对性LoRA适配摘要回路，在更少训练轮次下，显著提升摘要性能。

📝 摘要（中文）

本文提出了一种可解释性框架，用于分析GPT类模型如何适应摘要任务。通过对预训练模型和微调模型进行差异分析，量化了注意力模式和内部激活的变化。通过识别发生显著变化的特定层和注意力头，定位了模型架构中的“摘要回路”。研究发现，中间层（特别是第2、3和5层）表现出最显著的变化，其中62%的注意力头的熵降低，表明转向了聚焦的信息选择。实验证明，对这些已识别的回路进行有针对性的LoRA适配，与标准LoRA微调相比，在需要更少的训练轮次的情况下，实现了显著的性能提升。这项工作弥合了黑盒评估和机制理解之间的差距，提供了关于神经网络如何在摘要过程中执行信息选择和压缩的见解。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在摘要任务中的黑盒问题，即理解模型内部如何进行信息选择和压缩以生成摘要。现有方法主要关注分类或生成任务的可解释性，缺乏对摘要任务的针对性研究，无法揭示模型在摘要过程中的具体机制。

核心思路：论文的核心思路是通过比较预训练模型和微调模型在摘要任务中的行为差异，来识别模型中负责摘要功能的特定模块（即“摘要回路”）。通过量化注意力模式和内部激活的变化，可以定位到对摘要任务至关重要的层和注意力头。

技术框架：该框架主要包含以下几个阶段：1) 对预训练模型和在摘要数据集上微调的模型进行前向传播；2) 计算模型各层和注意力头的激活值和注意力权重；3) 对比预训练和微调模型的激活值和注意力权重，识别显著变化的层和注意力头；4) 分析这些层和注意力头的具体功能，例如信息选择、信息压缩等；5) 利用LoRA对识别出的“摘要回路”进行针对性适配。

关键创新：该论文的关键创新在于提出了一个针对摘要任务的机制可解释性框架，能够定位模型中的“摘要回路”，并利用这些信息进行模型优化。与传统的黑盒评估方法相比，该方法能够深入理解模型内部的工作机制。与标准LoRA微调相比，针对性LoRA适配能够更有效地利用模型参数，在更少的训练轮次下实现更好的性能。

关键设计：论文的关键设计包括：1) 使用熵来量化注意力头的聚焦程度，熵降低表示注意力更加集中于关键信息；2) 选择中间层（特别是第2、3和5层）作为重点分析对象，因为这些层通常负责信息整合和抽象；3) 使用LoRA对识别出的“摘要回路”进行参数适配，LoRA通过引入少量可训练参数来调整预训练模型的行为，避免了对整个模型进行微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，中间层（特别是第2、3和5层）表现出最显著的变化，其中62%的注意力头的熵降低。通过对识别出的“摘要回路”进行有针对性的LoRA适配，与标准LoRA微调相比，在需要更少的训练轮次的情况下，实现了显著的性能提升。具体性能数据未知，但强调了在更少训练轮次下性能的提升。

🎯 应用场景

该研究成果可应用于提升摘要模型的性能和可控性，例如，通过干预“摘要回路”来控制摘要的风格或内容。此外，该方法还可以推广到其他序列到序列的任务中，例如机器翻译和对话生成，帮助我们更好地理解和优化这些模型的行为。未来，该研究可以促进更安全、更可靠的自然语言处理系统的开发。

📄 摘要（原文）

Mechanistic interpretability research seeks to reveal the inner workings of large language models, yet most work focuses on classification or generative tasks rather than summarization. This paper presents an interpretability framework for analyzing how GPT-like models adapt to summarization tasks. We conduct differential analysis between pre-trained and fine-tuned models, quantifying changes in attention patterns and internal activations. By identifying specific layers and attention heads that undergo significant transformation, we locate the "summarization circuit" within the model architecture. Our findings reveal that middle layers (particularly 2, 3, and 5) exhibit the most dramatic changes, with 62% of attention heads showing decreased entropy, indicating a shift toward focused information selection. We demonstrate that targeted LoRA adaptation of these identified circuits achieves significant performance improvement over standard LoRA fine-tuning while requiring fewer training epochs. This work bridges the gap between black-box evaluation and mechanistic understanding, providing insights into how neural networks perform information selection and compression during summarization.