LeGrad: An Explainability Method for Vision Transformers via Feature Formation Sensitivity

📄 arXiv: 2404.03214v2 📥 PDF

作者: Walid Bousselham, Angie Boggust, Sofian Chaybouti, Hendrik Strobelt, Hilde Kuehne

分类: cs.CV

发布日期: 2024-04-04 (更新: 2025-01-08)

备注: Code available at https://github.com/WalBouss/LeGrad

🔗 代码/项目: GITHUB

💡 一句话要点

提出LeGrad以解决视觉变换器的可解释性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉变换器 可解释性 自注意力机制 深度学习 计算机视觉 模型透明度 信号聚合

📋 核心要点

  1. 现有的视觉变换器模型在可解释性方面存在显著挑战，难以理解其决策过程。
  2. LeGrad通过计算ViT层注意力图的梯度，将其作为可解释性信号，聚合所有层的信号以生成可解释性图。
  3. 在分割、扰动和开放词汇等复杂场景下，LeGrad展示了优于其他最先进方法的性能，具有更好的空间保真度和鲁棒性。

📝 摘要（中文）

视觉变换器（ViTs）因其通过自注意力机制建模长距离依赖的能力而成为计算机视觉中的标准架构。然而，这些模型的可解释性仍然是一个挑战。为此，我们提出了LeGrad，这是一种专门为ViTs设计的可解释性方法。LeGrad计算ViT层注意力图的梯度，将梯度本身视为可解释性信号。我们对所有层的信号进行聚合，结合最后和中间标记的激活，生成合并的可解释性图。这使得LeGrad成为一种概念上简单且易于实现的工具，能够增强ViTs的透明度。我们在具有挑战性的分割、扰动和开放词汇设置中评估LeGrad，展示了其相较于其他最先进可解释性方法的多样性，显示出其优越的空间保真度和对扰动的鲁棒性。

🔬 方法详解

问题定义：当前视觉变换器（ViTs）在可解释性方面存在不足，尤其是在理解模型决策的过程中，现有方法往往无法提供足够的透明度和信号可靠性。

核心思路：LeGrad的核心思路是计算ViT层注意力图的梯度，并将其视为可解释性信号。通过聚合所有层的信号，结合最后和中间标记的激活，生成一个合并的可解释性图，从而提高模型的透明度。

技术框架：LeGrad的整体架构包括几个主要模块：首先，计算每一层的注意力图梯度；其次，聚合这些梯度信号；最后，生成合并的可解释性图。该方法简单易行，便于实现。

关键创新：LeGrad的主要创新在于将梯度作为可解释性信号的使用，以及通过聚合不同层的信号来提高可解释性图的质量。这一方法与传统的可解释性方法相比，提供了更高的空间保真度和鲁棒性。

关键设计：在设计中，LeGrad关注于如何有效地聚合不同层的信号，确保最终生成的可解释性图能够准确反映模型的决策过程。具体的参数设置和损失函数设计尚未详细披露，可能需要进一步的研究来优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，LeGrad在分割、扰动和开放词汇设置下表现出色，相较于其他最先进的可解释性方法，展示了更高的空间保真度和对扰动的鲁棒性。具体性能数据尚未披露，但其多样性和适应性得到了充分验证。

🎯 应用场景

LeGrad的潜在应用场景包括医学影像分析、自动驾驶系统以及任何需要高可解释性的计算机视觉任务。通过提高模型的透明度，LeGrad能够帮助研究人员和开发者更好地理解模型的决策过程，从而提升信任度和可用性。未来，LeGrad可能会在更多领域得到应用，推动可解释性研究的发展。

📄 摘要（原文）

Vision Transformers (ViTs), with their ability to model long-range dependencies through self-attention mechanisms, have become a standard architecture in computer vision. However, the interpretability of these models remains a challenge. To address this, we propose LeGrad, an explainability method specifically designed for ViTs. LeGrad computes the gradient with respect to the attention maps of ViT layers, considering the gradient itself as the explainability signal. We aggregate the signal over all layers, combining the activations of the last as well as intermediate tokens to produce the merged explainability map. This makes LeGrad a conceptually simple and an easy-to-implement tool for enhancing the transparency of ViTs. We evaluate LeGrad in challenging segmentation, perturbation, and open-vocabulary settings, showcasing its versatility compared to other SotA explainability methods demonstrating its superior spatial fidelity and robustness to perturbations. A demo and the code is available at https://github.com/WalBouss/LeGrad.