Head Pursuit: Probing Attention Specialization in Multimodal Transformers

📄 arXiv: 2510.21518v1 📥 PDF

作者: Lorenzo Basile, Valentino Maiorca, Diego Doimo, Francesco Locatello, Alberto Cazzaniga

分类: cs.CV, cs.CL, cs.LG

发布日期: 2025-10-24

备注: Accepted at NeurIPS 2025 (spotlight)

💡 一句话要点

提出一种基于信号处理的注意力头分析方法，用于理解和编辑多模态Transformer模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 注意力机制 可解释性 Transformer模型 多模态学习 信号处理 模型编辑 概念特化

📋 核心要点

  1. 现有Transformer模型内部机制复杂，对注意力头的功能理解不足，限制了模型的可控性。
  2. 论文提出一种基于信号处理的注意力头分析方法，通过探测中间激活值来识别特定语义或视觉属性相关的注意力头。
  3. 实验表明，少量关键注意力头的编辑即可有效控制模型输出，并在多种语言和视觉-语言任务上验证了该方法。

📝 摘要（中文）

本文研究了文本生成模型中，注意力头如何在语义或视觉属性上进行特化。基于已有的可解释性方法，作者从信号处理的角度重新审视了使用最终解码层探测中间激活值的做法。这使得能够以规范的方式分析多个样本，并根据注意力头与目标概念的相关性对其进行排序。结果表明，单模态和多模态Transformer中，注意力头层面上存在一致的特化模式。通过该方法选择的少量（低至1%）注意力头编辑，可以可靠地抑制或增强模型输出中的目标概念。该方法在问答、毒性缓解等语言任务，以及图像分类、图像描述等视觉-语言任务上得到了验证。研究结果揭示了注意力层中可解释和可控的结构，为理解和编辑大规模生成模型提供了简单工具。

🔬 方法详解

问题定义：现有Transformer模型在各种任务中表现出色，但其内部机制，特别是注意力头的功能，仍然是一个黑盒。理解注意力头的具体作用，有助于提升模型的可解释性和可控性。现有方法通常难以对注意力头进行细粒度的分析，无法有效识别与特定概念相关的注意力头。

核心思路：论文的核心思路是将注意力头的激活值视为信号，利用信号处理的技术来分析其与特定概念的相关性。通过探测中间激活值，并结合最终解码层的信息，可以量化每个注意力头对目标概念的贡献程度。这种方法能够更准确地识别出负责特定语义或视觉属性的注意力头。

技术框架：该方法主要包含以下几个阶段：1) 选择目标概念（例如，某个特定的词语或图像属性）；2) 使用模型生成多个样本；3) 提取每个注意力头的中间激活值；4) 使用最终解码层的信息作为探针，分析激活值与目标概念的相关性；5) 根据相关性对注意力头进行排序。整个框架利用信号处理的视角，将注意力头的激活值与目标概念联系起来。

关键创新：该方法最重要的创新点在于将信号处理的思想引入到Transformer模型的可解释性分析中。通过将注意力头的激活值视为信号，可以利用信号处理的工具来分析其与目标概念的相关性，从而更准确地识别出负责特定语义或视觉属性的注意力头。此外，该方法还提供了一种量化的方式来评估注意力头的重要性，为模型编辑提供了依据。

关键设计：在具体实现上，论文可能使用了互信息、相关系数等信号处理中常用的指标来衡量注意力头激活值与目标概念之间的相关性。此外，论文可能还设计了一种损失函数，用于训练模型，使其注意力头能够更好地特化于特定的概念。具体的网络结构细节和参数设置需要在论文中进一步查找。

📊 实验亮点

实验结果表明，通过该方法选择的少量（低至1%）注意力头编辑，可以可靠地抑制或增强模型输出中的目标概念。该方法在问答、毒性缓解等语言任务，以及图像分类、图像描述等视觉-语言任务上得到了验证，证明了其有效性和通用性。具体的性能提升数据需要在论文中进一步查找。

🎯 应用场景

该研究成果可应用于提升大型生成模型的可解释性和可控性。例如，可以用于缓解模型生成内容中的毒性，增强特定概念的生成，或用于调试和优化模型性能。此外，该方法还可以用于分析不同模态信息在多模态模型中的交互方式，为多模态模型的改进提供指导。

📄 摘要（原文）

Language and vision-language models have shown impressive performance across a wide range of tasks, but their internal mechanisms remain only partly understood. In this work, we study how individual attention heads in text-generative models specialize in specific semantic or visual attributes. Building on an established interpretability method, we reinterpret the practice of probing intermediate activations with the final decoding layer through the lens of signal processing. This lets us analyze multiple samples in a principled way and rank attention heads based on their relevance to target concepts. Our results show consistent patterns of specialization at the head level across both unimodal and multimodal transformers. Remarkably, we find that editing as few as 1% of the heads, selected using our method, can reliably suppress or enhance targeted concepts in the model output. We validate our approach on language tasks such as question answering and toxicity mitigation, as well as vision-language tasks including image classification and captioning. Our findings highlight an interpretable and controllable structure within attention layers, offering simple tools for understanding and editing large-scale generative models.