Does the VGGT Family Need All Its Layers?
作者: Fengyi Zhang, Holger Caesar, Xiangyu Sun, Zheng Zhang, Zi Huang, Yadan Luo
分类: cs.CV
发布日期: 2026-09-29
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出VGGT模型层冗余分析以优化3D结构重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 几何模型 层冗余 3D重建 剪枝策略 计算机视觉 模型优化 CKA方法
📋 核心要点
- 现有几何模型在层冗余性分析上存在不足，难以有效识别对相机姿态和3D结构影响较大的层。
- 论文提出了一种系统的剪枝方法，通过分析层的冗余性来优化模型结构，减少不必要的层。
- 实验结果显示，剪枝后的模型在保持准确性的同时，参数量减少了44%，显著提升了模型的效率。
📝 摘要（中文）
本研究探讨了在VGGT、π³和VGGT-Ω模型中，哪些层是保持相机姿态和稠密3D结构所必需的。通过对3,018种剪枝配置进行评估，发现可移除层集中在两个冗余区域，且删除中间层的影响更为显著。此外，研究表明CKA可以作为一种低成本的代理方法来评估区间降级，闭式线性校准能够在不进行端到端重训练的情况下恢复准确性。最终，模型参数减少了多达44%，同时保持了与完整模型相当的准确性。
🔬 方法详解
问题定义：本研究旨在识别在VGGT模型中哪些层是保持相机姿态和稠密3D结构所必需的。现有方法在层冗余性分析上存在不足，无法有效评估层的影响。
核心思路：论文通过分析层的冗余性，发现可移除层主要集中在两个区域，并提出了一种基于CKA的低成本代理方法来评估区间降级，从而优化剪枝过程。
技术框架：整体架构包括层冗余性分析、剪枝策略和闭式线性校准三个主要模块。首先评估层的冗余性，然后进行剪枝，最后通过线性校准恢复模型的准确性。
关键创新：最重要的技术创新在于发现了层冗余的特定模式，提出了CKA作为区间降级的代理方法，并实现了闭式线性校准以避免重训练。
关键设计：在剪枝过程中，采用了共享映射来处理特殊和补丁标记，使用最小二乘法分析来优化重建损失，确保在仅用100个校准场景的情况下，模型能够在未见场景中保持良好的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，剪枝后的模型在保持与完整模型相当的准确性情况下，参数量减少了多达44%。此外，CKA方法的引入使得剪枝过程的效率显著提高，降低了模型评估的复杂度。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、机器人导航和增强现实等。通过优化模型结构，能够在保持高准确性的同时，显著减少计算资源的消耗，提升实时处理能力，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Which layers of a feed-forward geometry model are needed to preserve both camera poses and dense 3D structure? We study layer redundancy in VGGT, $π^3$, and VGGT-$Ω$: 3,018 pruned configurations, scored on seven camera-pose and dense-geometry metrics across four indoor and outdoor datasets. Four findings follow: (i) Removable layers cluster in two redundancy regions: a dominant early region and a narrower late one, while deletions spanning the intervening layers are consistently more disruptive. This recurring pattern holds across models, datasets, and metrics, and contrasts with the middle-to-late redundancy commonly reported in the literature. (ii) Within these regions, we observe that the joint degradation from deleting two intervals is approximately the sum of their individual degradations, reducing the number of model evaluations for pruning search from $O(L^4)$ to $O(L^2)$, where $L$ is the aggregator depth. (iii) We find that CKA provides a cheaper representation-based proxy for interval degradation, offering a practical trade-off between pruning quality and calibration cost. (iv) Closed-form linear calibration recovers accuracy after pruning without end-to-end retraining. A least-squares analysis shows that using a shared map for special and patch tokens generally incurs excess reconstruction loss, motivating token-aware recovery. Recovery maps fitted on just 100 calibration scenes generalize to held-out scenes and unseen datasets. The resulting models reduce aggregator parameters by up to 44% while maintaining accuracy comparable to their intact counterparts. Code and experimental results will be available at our project page: https://xian-bei.github.io/vggt-family-layer-redundancy/