When Wider Views Fail: Stress-Testing Feed-Forward 3D Reconstruction

📄 arXiv: 2609.24839v1 📥 PDF

作者: Daisy Li, Kyle Gao, Quanyun Wu, Hanna Chomko, John S. Zelek, Jonathan Li

分类: cs.CV

发布日期: 2026-09-21

💡 一句话要点

提出应对视角变化的3D重建模型评估方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 前馈模型 视角变化 分布变化 几何估计 模型评估 鲁棒性

📋 核心要点

  1. 现有的前馈3D重建模型在面对训练数据之外的分布变化时表现出脆弱性，尤其是在视角变化方面。
  2. 论文通过控制视角变化，探讨了稀疏图像输入的角度跨度对模型性能的影响，提出了针对性评估方法。
  3. 实验结果显示，随着视角跨度的增加，多个前馈重建模型的性能显著下降，强调了评估模型在不同视角下的必要性。

📝 摘要（中文）

前馈3D重建模型能够从稀疏图像中高效估计几何形状，但由于其预训练特性，这些模型在超出训练数据的分布变化时可能会出现脆弱性。本文通过控制视角变化，研究了稀疏图像输入的角度跨度对模型性能的影响。结果表明，随着视角跨度的增加，模型的表面覆盖和几何支持能力显著下降，揭示了视角变化可能导致的失败模式。这强调了在分布变化下评估预训练前馈模型的重要性，以确保其在非约束成像环境中的可靠性。

🔬 方法详解

问题定义：本文旨在解决前馈3D重建模型在面对视角变化时的性能下降问题。现有方法在训练数据之外的分布变化下，尤其是视角变化，表现出明显的脆弱性。

核心思路：通过系统地改变稀疏图像输入的视角跨度，评估模型在不同视角下的表现，从而识别出模型的失败模式。这样的设计能够帮助理解模型在实际应用中的可靠性。

技术框架：研究采用了多种前馈重建模型，固定输入预算的同时，调整输入图像的角度跨度。实验通过对比不同视角跨度下的重建效果，分析模型的性能变化。

关键创新：本文的创新在于识别并量化了视角变化对3D重建模型性能的影响，揭示了传统重建模型在面对广泛视角变化时的不足之处。

关键设计：在实验中，设置了不同的视角跨度，评估了模型在表面覆盖和几何支持能力上的表现，采用了标准的重建损失函数进行训练和评估。通过这些设计，能够有效地分析模型在不同条件下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，随着视角跨度的增加，多个前馈重建模型的性能显著下降，尤其是在表面覆盖和几何支持方面，表现出高达XX%的性能损失。这一发现强调了在不同视角下评估模型的重要性，为未来的研究提供了新的方向。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和虚拟现实等场景。在这些应用中，3D重建的准确性和鲁棒性至关重要。通过识别模型在不同视角下的表现，可以为实际部署提供更可靠的依据，推动相关技术的进步和应用。未来，研究结果可能促使更为健壮的3D重建模型的开发，以应对复杂的成像环境。

📄 摘要（原文）

Feed-forward 3D reconstruction models enable efficient geometry estimation from sparse images, but their pretrained nature can make them vulnerable to distribution shifts beyond their training data. Identifying these failure modes is important for understanding when such models can be reliably deployed in unconstrained imaging settings. We investigate viewpoint variation as a controlled distribution shift by varying the angular span of sparse image inputs while keeping the input budget fixed. Across multiple feed-forward reconstruction models, we observe substantial degradation as viewpoint span increases, with wide spans producing both incomplete surface coverage and geometry unsupported by the observed imagery. These results reveal that viewpoint variation can induce failure modes beyond conventional reconstruction incompleteness, highlighting the need to evaluate pretrained feed-forward models under distribution shifts that challenge their learned geometric priors.