ReSS: Residual-Restoring Sparse Attention for 3D Vision Transformers

📄 arXiv: 2609.35593v1 📥 PDF

作者: Yongsung Kim, Jaehoon Lee, Minjun Park, Wooseok Song, Hun Hwangbo, Sungroh Yoon

分类: cs.CV

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReSS以解决3D视觉变换器稀疏注意力计算效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D视觉 变换器 稀疏注意力 残差恢复 计算效率 深度学习

📋 核心要点

  1. 现有的3D视觉变换器在处理多视图图像时，随着视图数量增加，计算成本显著上升，导致性能下降。
  2. ReSS通过最小化稀疏化对残差流的漂移，重新定义了块选择问题，提出了漂移评分来优化块的选择。
  3. 在三个基础模型和五个数据集上，ReSS在相同稀疏性下保持了更好的性能，验证了其有效性。

📝 摘要（中文）

3D视觉变换器如VGGT能够在单次前向传播中从多视图图像中预测相机姿态和场景几何，但随着视图数量的增加，所有连接视图标记的全局注意力计算成本显著上升。SparseVGGT和HeSS在块级别稀疏化注意力，保留高注意力概率的块。然而，注意力概率与模型行为变化的实际预测能力不佳，导致性能在稀疏性增加时崩溃。本文提出ReSS（Residual-Restoring Sparse Attention），将块选择问题重新定义为最小化稀疏化对残差流的漂移。我们引入漂移评分来量化每个块对残差的影响，并通过迭代残差恢复程序优化整个丢弃集。实验表明，ReSS在匹配稀疏性下优于现有方法。

🔬 方法详解

问题定义：本文旨在解决3D视觉变换器在多视图图像处理中的计算效率问题，现有方法在稀疏化注意力时，注意力概率与模型行为变化的预测不一致，导致性能下降。

核心思路：ReSS通过最小化稀疏化对残差流的漂移，重新定义了块选择问题，提出了漂移评分来量化每个块对残差的影响，从而优化块的选择。

技术框架：整体架构包括块选择、漂移评分计算和迭代残差恢复三个主要模块。首先，通过计算每个块的漂移评分来评估其对残差的影响；然后，选择对残差影响最小的块进行保留；最后，应用迭代恢复程序优化丢弃的块。

关键创新：ReSS的核心创新在于引入漂移评分作为选择标准，强调了块对残差流的影响，而不仅仅是注意力概率。这一方法显著提高了稀疏化的有效性。

关键设计：在设计中，漂移评分的计算依赖于贡献向量的方向而非仅仅是其大小，确保了对残差流的全面评估。此外，迭代恢复程序的实现使得整个丢弃集的优化更加高效。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ReSS在三个基础模型和五个数据集上，能够在相同稀疏性下保持更好的性能，且最大化漂移的情况下，性能下降速度快于随机选择。所有方法在实现的漂移与稀疏性关系图中，均趋于一条曲线，验证了漂移作为稀疏化成本的关键指标。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和增强现实等3D视觉任务。通过提高3D视觉变换器的计算效率，ReSS能够在资源受限的环境中实现更高效的视觉理解，推动相关技术的实际应用和发展。

📄 摘要（原文）

3D vision transformers such as VGGT predict camera poses and scene geometry from multi-view images in a single forward pass, but their global attention over all concatenated view tokens dominates computation as the number of views grows. To reduce this cost, SparseVGGT and HeSS sparsify attention at the block level, and both retain blocks with high attention probability. However, we observe that attention probability poorly predicts how much the model's behavior actually changes when a block is removed, and we show that this mismatch is why performance collapses as sparsity increases. In this paper, we propose ReSS (ReSidual-ReStoring Sparse Attention), which recasts block selection from a problem of maximizing the retained attention mass to one of minimizing the drift that sparsification leaves in the residual stream. We introduce a drift score that quantifies how much each block shifts the residual, and, since the drift of a drop set depends on the directions of the contribution vectors rather than on their magnitudes alone, an iterative residual restoration procedure that refines the drop set as a whole. Across three backbones and five datasets, ReSS preserves dense performance better than prior methods at matched sparsity. Two further results support drift as the quantity that governs the cost of sparsification: maximizing drift degrades performance faster than random selection, and plotted against realized drift instead of sparsity, all methods fall approximately onto a single curve. Code is available at https://github.com/libary753/ReSS.