Discovering Influential Neuron Path in Vision Transformers
作者: Yifan Wang, Yifei Liu, Yingdong Shi, Changming Li, Anqi Pang, Sibei Yang, Jingyi Yu, Kan Ren
分类: cs.CV, cs.AI, cs.LG
发布日期: 2025-03-12 (更新: 2025-04-09)
备注: Accepted in ICLR 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Vision Transformer中神经元路径发现方法，提升模型可解释性并应用于模型剪枝。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Vision Transformer 可解释性 神经元路径 模型剪枝 联合影响度量 层级递进 模型分析
📋 核心要点
- 现有方法缺乏对Vision Transformer模型中层级信息和跨层信息流整体路径的考虑，难以理解模型决策过程。
- 提出一种联合影响度量方法，评估神经元集合对模型输出的贡献，并逐层定位关键神经元，从而发现模型中的关键神经元路径。
- 实验表明，该方法能有效发现信息流动的关键神经元路径，揭示Vision Transformer的内部工作机制，并应用于模型剪枝。
📝 摘要（中文）
Vision Transformer模型功能强大，但对人类来说仍然不透明，这给实际应用带来了挑战和风险。虽然之前的研究试图通过输入归因和神经元角色分析来揭示这些模型的内部机制，但一直缺乏对层级信息和跨层信息流整体路径的考虑。本文研究了Vision Transformer中具有影响力的神经元路径的重要性，该路径是指从模型输入到输出的神经元路径，对模型推理的影响最大。我们首先提出了一种联合影响度量方法来评估一组神经元对模型结果的贡献。我们进一步提供了一种层级递进的神经元定位方法，该方法有效地选择每一层中最有影响力的神经元，试图发现目标模型中从输入到输出的关键神经元路径。实验表明，我们的方法在寻找信息流动的最具影响力的神经元路径方面优于现有的基线解决方案。此外，神经元路径表明，Vision Transformer在处理同一图像类别中的视觉信息时表现出一些特定的内部工作机制。我们进一步分析了这些神经元对图像分类任务的关键影响，表明所发现的神经元路径已经保留了模型在下游任务上的能力，这也可以为模型剪枝等实际应用提供一些启示。项目网站（包括实现代码）可在https://foundation-model-research.github.io/NeuronPath/上找到。
🔬 方法详解
问题定义：论文旨在解决Vision Transformer模型可解释性差的问题。现有方法主要集中在输入归因和神经元角色分析，忽略了层级信息和跨层信息流的整体路径，无法有效理解模型决策过程，阻碍了模型在实际应用中的部署。
核心思路：论文的核心思路是寻找模型中从输入到输出的关键神经元路径，即对模型推理影响最大的神经元序列。通过分析这些路径，可以理解模型如何处理视觉信息，并揭示其内部工作机制。这种方法关注整体信息流，而非孤立的神经元或层级。
技术框架：该方法包含两个主要步骤：1) 联合影响度量：提出一种新的度量方法，评估一组神经元对模型输出的联合贡献。该度量方法考虑了神经元之间的相互作用，能够更准确地反映神经元的重要性。2) 层级递进神经元定位：从输入层开始，逐层选择对模型输出影响最大的神经元。在每一层，利用联合影响度量方法评估候选神经元集合的贡献，并选择最优的神经元。最终，将每一层选择的神经元连接起来，形成关键神经元路径。
关键创新：论文的关键创新在于提出了一种联合影响度量方法和层级递进的神经元定位方法，能够有效地发现Vision Transformer模型中的关键神经元路径。与现有方法相比，该方法考虑了层级信息和跨层信息流的整体路径，能够更全面地理解模型决策过程。
关键设计：联合影响度量的具体形式未知，需要参考论文原文。层级递进神经元定位的关键在于如何高效地搜索每一层中最优的神经元集合。论文可能采用了贪心算法或其他优化策略来降低搜索复杂度。损失函数的设计也至关重要，需要确保选择的神经元能够最大程度地保留模型的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够有效地发现Vision Transformer模型中的关键神经元路径，并且这些路径能够保留模型在下游任务上的能力。具体性能数据未知，需要参考论文原文。该方法在寻找信息流动的最具影响力的神经元路径方面优于现有的基线解决方案，表明其有效性和优越性。
🎯 应用场景
该研究成果可应用于模型可解释性分析、模型调试、模型剪枝和知识蒸馏等领域。通过理解Vision Transformer的关键神经元路径，可以更好地诊断模型问题，优化模型结构，并提取模型的关键知识，从而提升模型在实际应用中的性能和可靠性。此外，该方法还有助于开发更安全、更可靠的AI系统。
📄 摘要（原文）
Vision Transformer models exhibit immense power yet remain opaque to human understanding, posing challenges and risks for practical applications. While prior research has attempted to demystify these models through input attribution and neuron role analysis, there's been a notable gap in considering layer-level information and the holistic path of information flow across layers. In this paper, we investigate the significance of influential neuron paths within vision Transformers, which is a path of neurons from the model input to output that impacts the model inference most significantly. We first propose a joint influence measure to assess the contribution of a set of neurons to the model outcome. And we further provide a layer-progressive neuron locating approach that efficiently selects the most influential neuron at each layer trying to discover the crucial neuron path from input to output within the target model. Our experiments demonstrate the superiority of our method finding the most influential neuron path along which the information flows, over the existing baseline solutions. Additionally, the neuron paths have illustrated that vision Transformers exhibit some specific inner working mechanism for processing the visual information within the same image category. We further analyze the key effects of these neurons on the image classification task, showcasing that the found neuron paths have already preserved the model capability on downstream tasks, which may also shed some lights on real-world applications like model pruning. The project website including implementation code is available at https://foundation-model-research.github.io/NeuronPath/.