VASC: Value-Aware Sparse Attention with Cross-Layer Memory for Efficient 3D Reconstruction

📄 arXiv: 2610.01013v1 📥 PDF

作者: Junyi Wu, Fanqing Kong, Leyang Chen, Shaoqiu Zhang, Yulun Zhang

分类: cs.CV

发布日期: 2026-10-01

备注: 21 pages, including references and appendices

🔗 代码/项目: GITHUB

💡 一句话要点

提出VASC以解决3D重建中的稀疏注意力问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 稀疏注意力 跨层记忆 计算效率 视觉模型

📋 核心要点

  1. 现有的3D视觉模型在处理长图像序列时，由于全局注意力机制的二次复杂度，导致计算成本高昂。
  2. VASC通过价值感知块选择和跨层记忆机制，优化了稀疏注意力的执行效率，减少了冗余计算。
  3. 在7Scenes和NeuralRGB-D数据集上，VASC在姿态估计和重建质量上均优于FasterVGGT，且推理速度显著提升。

📝 摘要（中文）

前馈3D视觉模型如VGGT在相机估计和密集场景重建方面取得了显著进展。然而，其二次全局注意力使得长图像序列处理成本高昂，而现有稀疏方法可能偏向于高度关注但价值冗余的区域。为了解决这些局限性，本文提出了VASC，一种结合价值感知块选择和执行感知跨层记忆的训练无关稀疏注意力方法。我们的价值感知块选择将池化的查询-键相关性与邻近值对比相结合，减少冗余，同时保留与查询相关和独特的内容。跨层记忆跟踪各层未服务需求，并根据实际执行更新状态，使得之前未服务的块能够在固定计算预算下进行竞争。实验结果表明，VASC在7Scenes和NeuralRGB-D数据集上相较于FasterVGGT在姿态估计和重建质量上均有提升，推理速度比密集VGGT快达2.29倍。

🔬 方法详解

问题定义：本文旨在解决现有3D视觉模型在处理长图像序列时的计算效率问题，尤其是全局注意力机制导致的高昂成本和稀疏方法对冗余区域的偏好。

核心思路：VASC的核心思路是结合价值感知块选择与执行感知跨层记忆，优化注意力机制的计算效率，减少冗余，同时保留重要信息。

技术框架：VASC的整体架构包括两个主要模块：价值感知块选择模块和跨层记忆模块。前者通过分析查询-键相关性与邻近值对比来选择重要块，后者则跟踪各层的未服务需求并动态更新。

关键创新：VASC的主要创新在于其训练无关的稀疏注意力机制，特别是价值感知块选择和跨层记忆的结合，使得模型在固定计算预算下能够更有效地利用资源。

关键设计：在设计中，VASC采用了特定的参数设置以优化块选择过程，并通过动态更新机制确保未服务块能够在后续计算中得到关注，提升了整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VASC在7Scenes和NeuralRGB-D数据集上，相较于FasterVGGT在姿态估计和重建质量上均有显著提升，推理速度比密集VGGT快达2.29倍，展示了其在效率和效果上的优势。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等3D重建任务。通过提高3D重建的效率和准确性，VASC能够在实时场景理解和交互中发挥重要作用，推动相关技术的进步与应用。

📄 摘要（原文）

Feed-forward 3D vision models such as VGGT have achieved remarkable progress, unifying camera estimation and dense scene reconstruction in a single pass. However, their quadratic global attention makes long image sequences expensive, while existing sparse methods may favor highly attended yet value-redundant regions. To address these limitations, we introduce VASC, a training-free sparse attention method combining value-aware block selection and execution-aware cross-layer memory. Our value-aware block selection integrates pooled query--key relevance with neighboring value contrast, reducing redundancy while preserving query-relevant and distinctive content. Cross-layer memory tracks unserved demand across layers and updates this state according to actual execution, enabling previously underserved blocks to compete under a fixed computation budget. Experiments on 7Scenes and NeuralRGB-D with VGGT and $π^3$ demonstrate improved pose estimation and reconstruction quality compared with FasterVGGT, together with up to $2.29\times$ faster inference than dense VGGT. Code is available at https://github.com/kosakayamahoo-design/VASC.