Many Eyes, One World: Feed-Forward 3D Reconstruction from Mixed Cameras

📄 arXiv: 2609.35658v1 📥 PDF

作者: Qiaoge Li, Yifan Zhan, Haijun Yang, Haiyang Liu, Yiyi Cai, Chenchi Luo

分类: cs.CV

发布日期: 2026-09-28

备注: 24 pages, 9 figures, 14 tables

💡 一句话要点

提出MEOW以解决混合相机的三维重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 混合相机 前馈系统 数据适应 计算机视觉 深度学习

📋 核心要点

  1. 现有的三维重建方法通常假设输入为统一的透视图像，无法有效处理混合相机类型的情况。
  2. MEOW系统通过将异构相机重建视为数据适应问题，采用前馈方式在单次传递中重建多种相机图像。
  3. 在实验中，MEOW在异构2D3DS数据集上实现79.9 mAA@30的性能，相较于Wid3R的53.8有显著提升。

📝 摘要（中文）

现实世界的捕捉是异构的：透视、鱼眼和360度全景图像可以共存于单一重建任务中，但大多数前馈三维重建模型假设输入图像为统一的透视图像。现有处理多种相机类型的模型要么需要每个视图的相机类型信息，要么一次重建一对图像。本文提出的MEOW系统能够在单次前向传递中，从混合的透视、鱼眼和全景图像中联合重建度量点图和相机姿态，无需提供任何视图的标定、畸变参数、相机类型标签或姿态。MEOW通过一个程序化数据引擎学习异构相机，能够在合成数据上训练，并在真实捕捉中实现零样本迁移。

🔬 方法详解

问题定义：本文旨在解决在同一重建任务中处理混合相机类型（透视、鱼眼和全景图像）的三维重建问题。现有方法通常依赖于相机类型信息或逐对重建，无法实现单次处理。

核心思路：MEOW系统的核心思路是将异构相机重建视为数据适应问题，而非架构重设计。通过保留透视预训练的骨干网络，MEOW能够从程序化数据引擎中学习不同相机的特性。

技术框架：MEOW的整体架构包括一个数据引擎，该引擎能够在连续的相机模型流形上渲染每个场景，并确保每个相机采样的训练元组的可见性。系统通过前馈方式处理输入图像，联合输出点图和相机姿态。

关键创新：MEOW的主要创新在于其能够在没有相机类型标签或姿态信息的情况下，单次重建混合相机图像的能力。这与现有方法的逐对重建或依赖相机类型信息的方式有本质区别。

关键设计：MEOW使用的损失函数和网络结构经过精心设计，以确保在合成数据上训练时能够有效捕捉不同相机的特性。具体的参数设置和网络结构细节将在后续的研究中详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MEOW在异构2D3DS数据集上实现了79.9 mAA@30的性能，相较于Wid3R在已知相机类型情况下的53.8有显著提升。此外，在激光扫描的混合相机基准上，MEOW在每个四视图混合元组的注册中达到了79.4 AUC@30的表现。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和机器人导航等场景，能够有效处理来自不同类型相机的图像数据，提升三维重建的准确性和效率。未来，该技术可能在自动驾驶、环境建模等领域发挥重要作用。

📄 摘要（原文）

Real-world capture is heterogeneous: perspective, fisheye, and $360^\circ$ panoramic images can coexist within a single reconstruction task, yet most feed-forward 3D reconstruction models assume perspective imagery and a uniform input representation. Recent models handling several camera types are either informed of the camera type for each view or reconstruct one image pair at a time. No single-pass method reconstructs mixed-camera tuples containing full panoramas from images alone. We present MEOW, a feed-forward system that jointly reconstructs metric pointmaps and camera poses from one N-view tuple mixing perspective, fisheye and full-panorama images, in a single forward pass from images alone: no calibration, distortion parameters, camera-type labels or poses are supplied for any view. Our guiding design philosophy is to treat heterogeneous-camera reconstruction as a data-adaptation problem rather than an architectural redesign. MEOW retains a perspective-pretrained backbone and learns heterogeneous cameras entirely from a procedural data engine, which renders each scene across a continuous manifold of camera models with exact rays and depth, and certifies covisibility for every camera-sampled training tuple. Trained on synthetic tuples only, MEOW transfers zero-shot to real captures: on heterogeneous 2D3DS tuples it achieves 79.9 mAA@30 against 53.8 for Wid3R given the camera type of every view; on our laser-scanned mixed-camera benchmark it registers every four-view mixed tuple with 79.4 AUC@30. The data engine, benchmark, and complete evaluation pipeline will be released.