Unlocking the Power of Critical Factors for 3D Visual Geometry Estimation

📄 arXiv: 2604.21713v1 📥 PDF

作者: Guangkai Xu, Hua Geng, Huanyi Zheng, Songyi Yin, Yanlong Sun, Hao Chen, Chunhua Shen

分类: cs.CV

发布日期: 2026-04-23

备注: Accepted to CVPR 2026. GitHub Page: https://github.com/aim-uofa/CARVE

💡 一句话要点

CARVE：通过关键因素分析与高分辨率增强，提升3D视觉几何估计性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉几何估计 三维重建 深度估计 相机姿态估计 消融实验 一致性损失 高分辨率图像 前馈网络

📋 核心要点

  1. 现有前馈视觉几何估计方法在单帧精度上不如单帧方法，多帧模型的一致性优势未能转化为整体性能提升。
  2. 通过消融实验分析关键因素，并结合优化方法和高分辨率输入，设计一致性损失和高效架构，提升模型性能。
  3. CARVE模型在多个基准测试中，于点云重建、视频深度估计和相机姿态/内参估计任务上取得了优异且鲁棒的性能。

📝 摘要（中文）

本文针对前馈视觉几何估计中多帧模型一致性好但单帧精度不足的问题，通过严谨的消融实验，系统性地研究了影响模型性能的关键因素。研究表明，数据多样性和质量的提升能进一步提高性能；常用的置信度感知损失和基于梯度的损失机制可能反而阻碍性能；序列和帧联合监督能改善结果，而局部区域对齐会降低性能。此外，本文引入一致性损失函数，强化深度图、相机参数和点云图之间的一致性，并设计高效架构利用高分辨率信息，集成了优化方法和高分辨率输入的优点。最终提出的CARVE模型在点云重建、视频深度估计和相机姿态/内参估计等任务上表现出强大的性能。

🔬 方法详解

问题定义：现有前馈视觉几何估计方法虽然取得了显著进展，但多帧模型在跨帧一致性方面表现更好，却常常在单帧精度上不如强大的单帧方法。这表明现有方法未能充分利用多帧信息来提升整体性能，存在提升空间。现有方法在损失函数设计和数据利用方面可能存在不足。

核心思路：本文的核心思路是通过系统性的消融实验，深入分析影响视觉几何估计模型性能的关键因素，从而找到提升模型性能的瓶颈。在此基础上，结合优化方法的优点，并充分利用高分辨率输入，设计新的损失函数和网络架构，以提升模型的单帧精度和跨帧一致性。

技术框架：CARVE模型主要包含以下几个部分：首先，使用高分辨率图像作为输入；其次，利用改进的深度估计网络提取深度信息；然后，通过一致性损失函数，强化深度图、相机参数和点云图之间的一致性；最后，利用估计的深度信息和相机参数进行点云重建、视频深度估计和相机姿态/内参估计等任务。

关键创新：本文的关键创新在于：1) 通过消融实验发现了影响模型性能的关键因素，例如数据多样性和质量的重要性，以及某些常用损失函数的潜在问题；2) 提出了新的损失函数，即一致性损失函数，用于强化不同几何表示之间的一致性；3) 设计了高效的网络架构，能够有效利用高分辨率输入，提升模型的精度。

关键设计：一致性损失函数的设计是关键。该损失函数旨在约束深度图、相机参数和点云图之间的一致性，具体而言，它会惩罚那些导致不同几何表示之间不一致的预测结果。此外，网络架构的设计也至关重要，需要能够有效地处理高分辨率输入，并提取有用的特征。具体的网络结构细节和损失函数权重等参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CARVE模型在多个数据集上取得了显著的性能提升。在点云重建任务中，CARVE模型相较于现有方法，在重建精度和完整性方面均有明显提升。在视频深度估计和相机姿态/内参估计任务中，CARVE模型也表现出更强的鲁棒性和准确性。实验结果表明，本文提出的关键因素分析和高分辨率增强策略是有效的。

🎯 应用场景

该研究成果可应用于三维重建、自动驾驶、机器人导航、增强现实等领域。高质量的视觉几何估计是这些应用的基础，能够提升场景理解的准确性和鲁棒性。例如，在自动驾驶中，精确的深度估计和相机姿态估计可以帮助车辆更好地感知周围环境，从而做出更安全的决策。

📄 摘要（原文）

Feed-forward visual geometry estimation has recently made rapid progress. However, an important gap remains: multi-frame models usually produce better cross-frame consistency, yet they often underperform strong per-frame methods on single-frame accuracy. This observation motivates our systematic investigation into the critical factors driving model performance through rigorous ablation studies, which reveals several key insights: 1) Scaling up data diversity and quality unlocks further performance gains even in state-of-the-art visual geometry estimation methods; 2) Commonly adopted confidence-aware loss and gradient-based loss mechanisms may unintentionally hinder performance; 3) Joint supervision through both per-sequence and per-frame alignment improves results, while local region alignment surprisingly degrades performance. Furthermore, we introduce two enhancements to integrate the advantages of optimization-based methods and high-resolution inputs: a consistency loss function that enforces alignment between depth maps, camera parameters, and point maps, and an efficient architectural design that leverages high-resolution information. We integrate these designs into CARVE, a resolution-enhanced model for feed-forward visual geometry estimation. Experiments on point cloud reconstruction, video depth estimation, and camera pose/intrinsic estimation show that CARVE achieves strong and robust performance across diverse benchmarks.