Hardware-aware Calibrated Clustered Attention for Efficient Visual Geometric Transformers

📄 arXiv: 2610.09274v1 📥 PDF

作者: Weitian Wang, Shubham Rai, Cecilia De La Parra, Akash Kumar

分类: cs.CV, cs.LG

发布日期: 2026-10-07

备注: Accepted to IJCNN26

💡 一句话要点

提出块状聚类注意力以解决VGGT的延迟瓶颈问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景重建 全局注意力 块状聚类 计算效率 延迟优化

📋 核心要点

  1. 现有的VGGT模型在处理长序列时面临延迟瓶颈，影响了3D场景重建的效率。
  2. 提出块状聚类注意力（BC注意力），通过限制聚类范围和引入校准方法来提高全局注意力层的计算效率。
  3. 实验结果显示，BC注意力在全局注意力层上加速了2.10-2.63倍，整体骨干网络加速了1.77-2.35倍，且性能损失极小。

📝 摘要（中文）

视觉几何基础变换器（VGGT）在3D场景重建方面取得了显著进展，首次在一次推理中共同推断所有关键3D属性（相机姿态、深度和密集几何）。然而，这种联合推理机制需要全局注意力层，处理极长序列，导致显著的延迟瓶颈。本文提出了块状聚类注意力（BC注意力），通过限制聚类在硬件友好的邻域块内，减少查询聚类的计算开销和昂贵的数据移动，从而加速VGGT的全局注意力层。实验表明，经过校准的BC注意力在全局注意力层上加速了2.10-2.63倍，整体骨干网络加速了1.77-2.35倍，且损失微乎其微（1%）。

🔬 方法详解

问题定义：本文旨在解决VGGT模型在处理长序列时的延迟瓶颈问题。现有的全局注意力层需要处理极长的序列，导致计算开销大和数据移动成本高。

核心思路：提出块状聚类注意力（BC注意力），通过在硬件友好的邻域块内进行聚类，减少计算和数据移动的开销，从而加速全局注意力层的处理速度。

技术框架：整体架构包括输入数据的块状划分、聚类计算模块、全局注意力层和输出模块。BC注意力通过限制聚类范围来优化计算流程。

关键创新：引入了块状聚类机制和哈希超平面校准方法，显著降低了聚类误差，这是当前聚类注意力机制的瓶颈。

关键设计：在聚类过程中，设置了邻域块的大小和聚类阈值，同时采用了基于阈值的误差补偿方法，以确保聚类的准确性和效率。实验中，BC注意力在GPU上实现了显著的加速效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过校准的BC注意力在全局注意力层上实现了2.10-2.63倍的加速，整体骨干网络加速了1.77-2.35倍，且性能损失仅为1%。在小于5%的性能损失下，BC注意力在全局注意力层上进一步实现了2.26-2.87倍的延迟改善。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、虚拟现实和增强现实等3D场景重建任务。通过提高3D重建的效率和准确性，能够在实时应用中提供更好的用户体验，推动相关技术的发展与应用。未来，该方法可能会影响更多需要高效计算的视觉任务。

📄 摘要（原文）

The Visual Geometry Grounded Transformer (VGGT) marks a significant leap forward in 3D scene reconstruction, as it is the first model that directly infers all key 3D attributes (camera poses, depths, and dense geometry) jointly in one pass. However, this joint inference mechanism requires global attention layers with extremely long sequences that causes a significant latency bottleneck. In this paper, we propose blockwise clustered attention (BC attention) to accelerate the global attention layers in VGGT. By limiting the clustering within HW-friendly neighborhood blocks, BC attention reduces the computation overhead of query clustering as well as the costly data movement between on- and off-chip memory. This enables BC attention to scale to long sequences and deliver practical latency improvements on GPUs. Moreover, we introduce a hashing hyperplane calibration method and a threshold-based error compensation method to reduce clustering errors efficiently, which is a bottleneck in the current clustered attention mechanism. Overall, our experiments on GPU demonstrate that calibrated BC attention accelerates the global attention layers by 2.10-2.63$\times$ and the whole backbone by 1.77-2.35$\times$ with negligible loss (1%) for large scenes. With a small performance loss (< 5%), calibrated BC attention further achieves a 2.26-2.87$\times$ latency improvement on the global attention layers and a 1.90-2.55$\times$ improvement on the backbone.