BlazeVGGT: 13x Faster VGGT at 2,000 Frames via Camera Token without Training

📄 arXiv: 2610.29454v1 📥 PDF

作者: Shujun Yao, Junhui Lin, Congying Han, Tiande Guo, Ziwen Liu, Bonan Li

分类: cs.CV

发布日期: 2026-10-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出BlazeVGGT以解决VGGT在长序列推理中的效率问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉几何模型 多视图重建 相机姿态估计 高效推理 稀疏化技术 深度学习加速 计算机视觉

📋 核心要点

  1. 现有的VGGT方法在处理长序列时计算复杂度高，导致推理效率低下。
  2. BlazeVGGT通过相机令牌关系构建视图级相似性核，实现了高效的帧级关键值稀疏化。
  3. 在2000帧的实验中，BlazeVGGT的推理速度提高了约13倍，同时提高了重建精度。

📝 摘要（中文）

前馈视觉几何模型VGGT通过密集全局注意力展示了强大的多视图重建能力。然而，输入视图数量的平方级别的计算复杂度使得长序列推理变得昂贵。本文提出BlazeVGGT，一个无需训练的框架，通过相机令牌的关系构建视图级相似性核，并采用贪婪的决定性点过程推断选择互补视图，从而实现帧级关键值稀疏化。BlazeVGGT在2000帧时实现了约13倍的推理加速，并将Chamfer距离从0.41降低至0.32，展示了在点云重建和相机姿态估计中的良好准确性和效率权衡。

🔬 方法详解

问题定义：本文旨在解决VGGT在长序列推理中的高计算复杂度问题，现有方法在输入视图数量增加时，计算量呈平方级增长，导致效率低下。

核心思路：BlazeVGGT的核心思想是通过相机令牌的关系构建视图级相似性核，并采用贪婪的决定性点过程选择互补视图，从而实现帧级关键值的稀疏化，减少冗余计算。

技术框架：BlazeVGGT的整体架构包括多个全局注意力模块，在每个模块中构建视图级相似性核，并进行关键值选择。所有输入帧作为查询，选定的视图作为关键值上下文。

关键创新：BlazeVGGT的主要创新在于其训练自由的设计，能够直接作为VGGT的插件模块使用，而无需更新参数。这种不对称的注意力设计有效保留了每帧的密集预测，同时消除了冗余的跨视图计算。

关键设计：在关键参数设置上，BlazeVGGT利用贪婪选择算法来优化视图选择过程，确保所选视图在信息上互补，从而提高整体重建精度和推理速度。该方法兼容现有的VGGT加速器，如FastVGGT和LiteVGGT。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BlazeVGGT在2000帧的推理中实现了约13倍的速度提升，同时Chamfer距离从0.41降低至0.32，展现了在点云重建和相机姿态估计中的优越性能。该方法与现有VGGT加速器兼容，具有良好的准确性与效率权衡。

🎯 应用场景

BlazeVGGT的研究成果在多视图重建、相机姿态估计等领域具有广泛的应用潜力。其高效的推理能力使得在实时系统中处理长序列数据成为可能，推动了计算机视觉技术在自动驾驶、虚拟现实等领域的实际应用。

📄 摘要（原文）

Feed-forward visual geometry models, exemplified by VGGT, have demonstrated strong multi-view reconstruction capabilities through dense global attention. However, the resulting all-to-all cross-view computation scales quadratically with the number of input views, making long-sequence inference particularly expensive due to substantial frame-level redundancy among highly overlapping observations. We uncover a topology-first, geometry-later evolution in VGGT camera tokens: shallow-layer tokens reliably capture local view neighborhoods, whereas deeper-layer tokens progressively encode globally organized inter-view geometry. Motivated by this observation, we introduce BlazeVGGT, a training-free framework for structure-aware frame-level key--value sparsification. At each global-attention block, BlazeVGGT constructs a view-level similarity kernel from camera-token relations and employs greedy determinantal point process inference to select a compact set of mutually complementary views. The selected views constitute the key--value context, while all input frames are retained as queries. This asymmetric attention design preserves dense per-frame predictions while eliminating redundant cross-view computation, allowing our method to be directly integrated into pretrained VGGT as a plug-and-play module without parameter updates. Its advantages become increasingly pronounced with sequence length: at 2,000 frames, BlazeVGGT achieves approximately 13$\times$ faster inference than VGGT while reducing the Chamfer Distance from 0.41 to 0.32. Extensive experiments demonstrate a favorable accuracy--efficiency trade-off in point-cloud reconstruction and camera-pose estimation, compatibility with existing VGGT accelerators such as FastVGGT and LiteVGGT, and transferability to VGGT-based models including StreamVGGT and PAGE-4D. Codes are publicly available at https://github.com/MagiciannnY/BlazeVGGT.git.