READ: Reading the Selective Scan for Faithful Video Attribution

📄 arXiv: 2610.13776v1 📥 PDF

作者: Magdalena Trędowicz, Piotr Kubaty, Arkadiusz Lewicki, Jacek Tabor, Łukasz Struski

分类: cs.CV

发布日期: 2026-10-09

💡 一句话要点

提出READ以解决长序列视频建模的可解释性问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 长视频建模 可解释性 选择性状态空间模型 归因方法 时空相关性图

📋 核心要点

  1. 现有的归因方法在长序列视频建模中面临高计算成本和系统性偏差的问题。
  2. 本文提出的READ方法通过在分类器读取位置展开递归，提供了一种高效的无参数归因方案。
  3. 实验结果显示，READ在可信度和定位方面与现有昂贵方法相当，且避免了系统性偏差。

📝 摘要（中文）

选择性状态空间模型是一种高效的长序列视频建模方法，但其递归计算使得难以确定哪些视频标记驱动了预测。现有的归因方法通常需要额外的反向传递或重复模型评估，导致其计算成本显著高于前向推理。本文提出了READ，这是一种无参数的归因方法，通过在分类器读取的位置展开递归，追踪递归状态中累积的贡献，直接生成一个时空相关性图。尽管只需一次前向传递，READ在可信度和定位方面与更昂贵的归因方法相比表现出竞争力。实验结果表明，READ避免了现有方法的系统性相关性偏差，同时在不同数据集和骨干网络上恢复了有意义的时间和类别特定结构。

🔬 方法详解

问题定义：本文旨在解决选择性状态空间模型在长序列视频建模中的可解释性问题。现有归因方法需要额外的计算资源，导致效率低下和系统性偏差。

核心思路：READ方法通过在分类器读取位置展开递归，追踪视频标记对最终预测的贡献，从而实现高效的归因。该设计使得归因过程仅依赖一次前向推理，降低了计算成本。

技术框架：READ的整体架构包括两个主要模块：首先是递归状态的展开，其次是生成时空相关性图。通过这两个模块，READ能够直接从递归状态中提取出对预测有贡献的视频标记。

关键创新：READ的主要创新在于其无参数的归因方法，能够在一次前向推理中生成时空相关性图，避免了现有方法的反向传递和重复评估的需求。

关键设计：READ在设计上不依赖于额外的参数设置，采用了简单的损失函数来优化时空相关性图的生成，确保了方法的高效性和可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，READ在可信度和定位方面与现有昂贵的归因方法相比表现出竞争力，且避免了系统性偏差。具体而言，READ在多个数据集上恢复了有意义的时间和类别特定结构，显示出其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、医疗影像分析等，能够为这些领域提供更高效的可解释性工具。通过提高模型的可解释性，READ有助于增强用户对模型决策的信任，推动智能系统的广泛应用。

📄 摘要（原文）

Selective state-space models are an efficient approach to long-sequence video modeling. However, their recurrent computation makes it difficult to determine which video tokens drive a prediction. Existing attribution methods often require additional backward passes or repeated model evaluations, making them substantially more expensive than the forward inference they aim to explain. In this work, we introduce READ, a parameter-free attribution method for selective state-space models that unrolls the recurrence at the position read by the classifier. READ traces the contribution accumulated in the recurrent state back to the video tokens that contribute to the final prediction. By anchoring attribution at the classifier's readout, it produces a single spatiotemporal relevance map from which frame- and region-level relevance can be obtained directly. Despite requiring only one forward pass, READ achieves competitive faithfulness and localisation compared with substantially more expensive attribution methods. Experimental results show that READ avoids the systematic relevance biases of existing methods while recovering meaningful temporal and class-specific structure across datasets and backbones. More broadly, our results show that the recurrence underlying selective state-space models is not only an efficient mechanism for inference, but also a direct source of interpretable evidence for their predictions.