VGGT-Bridge: Beyond Sequential Pose Graphs via Coarse-Stride Skip Edges
作者: Sungjae Choi, Hanna Bae, Sunghyun Baek, Junmo Kim
分类: cs.CV
发布日期: 2026-10-05
备注: Accepted to ACCV 2026
💡 一句话要点
提出VGGT-Bridge以解决长序列重建中的漂移问题
🎯 匹配领域: 支柱三:空间感知与语义 (Perception & Semantics)
关键词: 长序列重建 3D结构重建 视觉几何变换器 跳跃边 误差修正 自动驾驶 机器人导航
📋 核心要点
- 现有的分块对齐方法在处理长序列时,因仅连接相邻块而导致误差累积,造成大规模漂移。
- VGGT-Bridge通过引入长距离跳跃边,直接约束非相邻块,从而有效减少漂移,且无需重新训练模型。
- 在KITTI、Virtual KITTI和Waymo Open数据集上,VGGT-Bridge分别将ATE降低28.3%、18.8%和10.0%,超越了现有基线。
📝 摘要(中文)
前馈视觉几何变换器(VGGT)能够在单次前向传递中重建密集的3D结构,简化了多视图3D重建。然而,其二次注意力复杂度使得在包含数千帧的长序列中扩展变得困难。现有的分块对齐框架通过将长序列分割为重叠块并将其局部重建拼接成姿态图来解决这一问题,但仅连接顺序相邻的块,导致小的逐帧误差在链中累积成大规模漂移。为此,本文提出VGGT-Bridge,通过添加长距离跳跃边,直接约束非相邻块而无需重新训练。通过对稀疏采样的粗块运行VGGT,每个粗块将远处的细块桥接成单一直接约束。实验结果表明,VGGT-Bridge在KITTI Odometry上将ATE降低了28.3%,在Virtual KITTI上降低了18.8%,在Waymo Open上降低了10.0%,在所有分块对齐方法中表现最佳。
🔬 方法详解
问题定义:本文旨在解决在长序列3D重建中,由于仅连接相邻块而导致的误差累积和漂移问题。现有方法在处理数千帧时面临二次注意力复杂度的挑战,难以扩展。
核心思路:VGGT-Bridge的核心思路是通过添加长距离跳跃边,直接约束非相邻的粗块,从而减少误差传播。此设计使得模型在不重新训练的情况下,能够有效整合远处信息。
技术框架:VGGT-Bridge的整体架构包括对稀疏采样的粗块进行VGGT处理,生成局部重建,并通过跳跃边将这些局部重建连接起来,形成全局约束。
关键创新:最重要的技术创新在于引入了长距离跳跃边,这一设计与现有方法的顺序连接方式形成了本质区别,使得模型能够在处理长序列时有效减少漂移。
关键设计:在参数设置上,VGGT-Bridge采用了反向输入选择的粗块,以利用VGGT的首帧尺度偏差进行漂移修正。此外,设计了循环感知策略,以确保反向输入与现有循环闭合兼容。
🖼️ 关键图片
📊 实验亮点
VGGT-Bridge在多个数据集上展现了卓越的性能,尤其是在KITTI Odometry上,ATE降低了28.3%,在Virtual KITTI和Waymo Open上分别降低了18.8%和10.0%。这些结果表明,VGGT-Bridge在分块对齐方法中达到了最佳性能,显著提升了重建精度。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景,能够在复杂环境中实现高精度的3D重建。通过减少漂移,VGGT-Bridge可以提升系统的稳定性和可靠性,具有重要的实际价值和未来影响。
📄 摘要(原文)
Feed-forward visual geometry transformers such as VGGT reconstruct dense 3D structure from images in a single forward pass, simplifying multi-view 3D reconstruction. However, their quadratic attention complexity makes them difficult to scale to long sequences with thousands of frames. Chunk-and-align frameworks address this by splitting a long sequence into overlapping chunks and stitching their local reconstructions into a pose graph. Yet existing methods connect only sequentially adjacent chunks, so small per-frame errors accumulate along the chain into large-scale drift. To move beyond sequential edges, we propose VGGT-Bridge, which adds long-range skip edges that directly constrain non-adjacent chunks without retraining. By running VGGT on sparsely sampled coarse chunks, each coarse chunk bridges distant fine chunks into a single direct constraint. We further turn VGGT's first-frame scale bias into a drift correction by feeding selected coarse chunks in reverse, and a loop-aware policy keeps this reversal compatible with existing loop closures. VGGT-Bridge reduces ATE by 28.3% on KITTI Odometry, 18.8% on Virtual KITTI, and 10.0% on Waymo Open over the SwiftVGGT baseline, achieving the best performance among all chunk-and-align methods.