ResLRP: The Role of Residual Cancellation in Attribution Instability in Vision Transformers

📄 arXiv: 2609.17152v1 📥 PDF

作者: Jim Berend, Reduan Achtibat, Daniel Schäffer, Alexander Binder, Wojciech Samek, Sebastian Lapuschkin, Maximilian Dreyer

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-09-15

💡 一句话要点

提出ResLRP以解决ViTs中的归因不稳定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉变换器 层次相关传播 归因解释 残差连接 计算机视觉 多模态学习 模型可解释性

📋 核心要点

  1. 现有的层次相关传播方法在视觉变换器中产生噪声和不真实的归因，导致归因不稳定性。
  2. 论文提出了残差感知层次相关传播（ResLRP），通过明确考虑残差连接中的抵消效应来解决归因爆炸问题。
  3. 实验结果显示，ResLRP在多种ViT架构上显著提高了归因的真实度和定位精度，尤其在视觉语言模型中表现突出。

📝 摘要（中文）

视觉变换器（ViTs）在现代视觉模型中占据核心地位，但获取细粒度、真实且稳定的输入归因仍然具有挑战性。层次相关传播（LRP）已被调整以适应变换器注意力，但在ViTs中常常产生噪声和不真实的解释。我们发现，残差连接的处理是关键：残差路径中的抵消效应导致归因爆炸。为了解决这一问题，我们提出了残差感知层次相关传播（ResLRP），该方法明确考虑了残差分支中的抵消，能够有效控制归因爆炸。实验表明，ResLRP显著提高了归因质量，尤其在现代视觉语言模型中，定位精度提升27-29%，真实度评分提高至3.4倍。

🔬 方法详解

问题定义：论文要解决的问题是视觉变换器（ViTs）中归因的不稳定性，现有的层次相关传播（LRP）方法在处理残差连接时未能有效控制归因的爆炸，导致解释结果不真实且噪声较大。

核心思路：论文的核心解决思路是引入残差感知层次相关传播（ResLRP），该方法通过明确考虑残差路径中的抵消效应，确保归因传播的保守性，从而有效控制归因的爆炸现象。

技术框架：ResLRP的整体架构包括对残差连接的处理模块，采用新的传播规则来计算每个输入特征的相关性，并通过因果通道干预验证其有效性。

关键创新：最重要的技术创新点在于对残差连接的处理，ResLRP能够精确地控制归因的传播，避免了传统LRP方法中常见的归因爆炸问题，这一设计在视觉变换器中尤为重要。

关键设计：在参数设置上，ResLRP采用了保守的传播规则，确保归因的总和不超过输入特征的总相关性。此外，设计了新的损失函数以优化归因的真实度和定位精度。整体网络结构与传统LRP相似，但在残差路径的处理上进行了重要调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ResLRP在多种视觉变换器架构上显著提高了归因质量，尤其在现代视觉语言模型中，定位精度提升了27-29%，归因的真实度评分提高至3.4倍。这些结果表明，ResLRP在处理复杂视觉任务时具有显著的优势。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像分类、目标检测和多模态学习等任务。通过提高归因的真实度和稳定性，ResLRP可以帮助研究人员和开发者更好地理解模型决策过程，从而提升模型的可解释性和可靠性。未来，ResLRP的设计理念也可能被应用于其他类型的神经网络架构中，推动更广泛的研究和应用。

📄 摘要（原文）

Vision Transformers (ViTs) are central to most modern vision models, yet obtaining input attributions that are fine-grained, faithful, and stable remains challenging. Layer-wise Relevance Propagation (LRP) has been adapted to transformer attention, but in ViTs it often produces noisy, unfaithful explanations. We show that the missing ingredient is the treatment of residual connections: cancellation effects in residual pathways lead to attribution explosion. Moreover, we find that these cancellations are substantially stronger in ViTs than in language transformers. To address this issue, we introduce Residual-aware Layer-wise Relevance Propagation (ResLRP), a simple extension of LRP whose propagation rules explicitly account for cancellations in residual branches, are exactly conservative, and provably bound relevance explosion. Causal channel-wise interventions confirm that residual cancellation, not a generic regularization effect, drives the instability. ResLRP substantially improves attribution quality across faithfulness and localization, evaluated on ViT architectures spanning supervised, self-supervised, contrastive, hierarchical, and multimodal families, as well as on the ground-truth-controlled FunnyBirds benchmark. The largest gains arise in modern Vision Language Models (VLMs), with +27-29% localization and up to 3.4x faithfulness scores. Beyond benchmarks, ResLRP localizes Sparse Autoencoder (SAE) features in input space, and our residual amplification measure serves as an architecture-level diagnostic predicting where attribution degrades.