Motion- and Gravity-Aware Feedforward 3D Reconstruction
作者: Shiyao Qian, Yuan Ren, Dongfeng Bai
分类: cs.CV, cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出运动与重力感知框架以提升动态场景3D重建精度
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D重建 运动感知 重力感知 前馈变换器 特权信息学习 动态场景 几何表示 鲁棒性提升
📋 核心要点
- 现有的前馈变换器模型在动态场景中表现不佳，主要依赖外观信息，几何线索不足导致重建精度下降。
- 本文提出了一种运动与重力感知的框架，通过特权信息引导几何表示学习，提升动态场景下的重建性能。
- 实验结果显示，在标准基准测试上，模型在动态物体和复杂相机运动场景中的重建精度和鲁棒性均有显著提升。
📝 摘要（中文）
近年来，前馈变换器模型在多视角3D重建中表现出色，但仍主要依赖外观注意力，且在动态场景中面临几何线索不足的挑战。本文提出了一种运动与重力感知的框架，基于特权信息学习（LUPI）范式。在训练过程中，残差光流和重力方向作为特权信号引导几何表示学习；而在推理阶段，模型仅使用标准视觉输入。我们将这些先验知识整合到变换器骨干网络中，通过轻量级架构变化保持前馈效率。实验结果表明，在动态物体、模糊结构和复杂相机运动的场景中，重建精度和鲁棒性均有显著提升。
🔬 方法详解
问题定义：本文旨在解决现有前馈变换器模型在动态场景中因依赖外观信息而导致的3D重建精度不足的问题。现有方法在几何线索较弱的情况下表现不佳，尤其是在动态物体和复杂相机运动的场景中。
核心思路：论文提出了一种运动与重力感知的框架，利用特权信息学习（LUPI）范式，在训练阶段引入残差光流和重力方向作为辅助信号，以增强几何表示的学习能力。
技术框架：整体架构包括两个主要阶段：训练阶段和推理阶段。在训练阶段，模型接收视觉输入及特权信号进行学习；在推理阶段，仅使用视觉输入进行3D重建。通过轻量级架构变化将运动和重力先验整合到变换器骨干网络中。
关键创新：最重要的技术创新在于将运动和物理先验有效地注入到前馈3D重建中，而不增加推理时的复杂性。这种方法在不同的骨干网络中表现出不同的最佳注入阶段，显示了灵活性和适应性。
关键设计：在网络结构上，采用轻量级的架构变化以保持前馈效率；损失函数设计上，结合了几何表示学习与特权信号的引导，确保模型在动态场景中的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用运动与重力感知框架的模型在多个标准基准测试中均实现了重建精度的显著提升，尤其是在动态物体和复杂相机运动的场景中，重建精度提升幅度达到XX%。与基线模型相比，鲁棒性也有明显改善，验证了该方法的有效性。
🎯 应用场景
该研究在动态场景的3D重建中具有广泛的应用潜力，特别是在自动驾驶、机器人导航和增强现实等领域。通过提升模型在复杂环境中的表现，可以为相关技术的发展提供更为可靠的基础，推动智能系统的实际应用。
📄 摘要（原文）
Feed-forward transformer models have recently achieved strong performance in multi-view 3D reconstruction, but they still rely primarily on appearance-based attention and often struggle in dynamic scenes with weak geometric cues. In this work, we introduce a motion- and gravity-aware framework under the Learning Using Privileged Information (LUPI) paradigm. During training, residual optical flow and gravity direction are provided as privileged signals to guide geometric representation learning; during inference, the model uses standard visual inputs only. We integrate these priors into transformer backbones with lightweight architectural changes, preserving feed-forward efficiency. Experiments on standard benchmarks show consistent gains in reconstruction accuracy and robustness, especially in scenes with dynamic objects, ambiguous structure, and challenging camera motion. Our analysis further shows that the optimal injection stage is backbone-dependent: middle-layer integration is generally preferable for VGGT, while late-stage integration is more effective for π3. These results suggest that LUPI offers a practical way to inject motion and physical priors into feed-forward 3D reconstruction without increasing test-time complexity.