OmniRay: Camera-Agnostic Monocular 3D Reconstruction with Composite Ray Fields

📄 arXiv: 2610.31645v1 📥 PDF

作者: Namitha Guruprasad, Abhay Yadav, Cheng Peng, Rama Chellappa, Anand Bhattad

分类: cs.CV

发布日期: 2026-10-22

备注: Project page: https://nam1410.github.io/omniray/

💡 一句话要点

提出OmniRay以解决单目3D重建中的相机几何问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目3D重建 相机几何 光线场 深度学习 计算机视觉 机器人技术 虚拟现实

📋 核心要点

  1. 现有单目3D重建方法大多假设使用针孔相机，导致在广角图像下几何失真。
  2. OmniRay通过引入三部分组成的光线模块，灵活捕捉不同相机几何的复杂性，解决了这一问题。
  3. 实验结果显示，OmniRay在多种相机配置下均表现出色，设立了新的性能基准。

📝 摘要（中文）

单目模型通过单张图像一次性恢复3D几何，但大多数模型假设使用针孔相机，导致在鱼眼和全景镜头下产生失真的几何形状。相机感知模型通过预测每个像素的光线场来消除这一假设。然而，它们使用单一固定基底来表示不同的相机几何，无法有效捕捉相机投影的整体和细微变化。本文提出OmniRay，一个前馈模型，其光线模块由三部分组成：捕捉径向对称结构的单调径向基底、平滑偏差的球谐残差和局部变化的自由形式残差。这些组件通过在球面上的连续旋转组合，能够适应多样的相机几何。给定单张图像，OmniRay为每个像素预测光线方向和尺度内的径向距离，从而恢复3D点云，而无需在推理时获取相机信息。大量实验表明，OmniRay在相机无关的单目3D重建中建立了新的最先进水平。

🔬 方法详解

问题定义：本文旨在解决现有单目3D重建模型在处理鱼眼和全景镜头图像时的几何失真问题。现有模型通常假设使用针孔相机，无法有效适应不同的相机几何形状。

核心思路：OmniRay提出了一种新的光线模块结构，通过引入单调径向基底、球谐残差和自由形式残差，形成层次化的光线表示，能够更好地捕捉相机几何的复杂性。

技术框架：OmniRay的整体架构包括三个主要模块：单调径向基底用于捕捉径向对称结构，球谐残差用于平滑偏差，自由形式残差用于处理局部变化。这些模块通过在球面上的旋转组合，形成最终的光线场表示。

关键创新：OmniRay的主要创新在于其光线模块的分层设计，能够同时捕捉相机投影的整体特征和细微变化，这与传统方法的单一固定基底表示形成鲜明对比。

关键设计：在网络结构上，OmniRay采用了多层次的残差学习策略，结合适当的损失函数以优化光线方向和径向距离的预测，确保在推理时无需相机信息。该设计使得模型在多种相机配置下均能保持高性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在不同相机配置下的实验结果表明，OmniRay在相机无关的单目3D重建中达到了新的最先进水平，性能提升幅度超过了现有基线模型，具体数据未公开，但实验结果显著优于传统方法。

🎯 应用场景

OmniRay的研究成果在计算机视觉和机器人领域具有广泛的应用潜力，尤其是在自动驾驶、虚拟现实和增强现实等场景中。通过实现相机无关的3D重建，能够提高系统的灵活性和适应性，推动相关技术的进步。

📄 摘要（原文）

Monocular models recover 3D geometry from a single image in one pass, but most assume a pinhole camera and produce distorted geometry on the wide-angle imagery produced by fisheye and panoramic lenses. Camera-aware models remove this assumption by predicting a per-pixel ray field. However, they represent different camera geometries using a single fixed basis to capture both the overall camera projection and its finer variations. We argue that camera geometry can be viewed as having a hierarchy of complexity for representing rays. We present OmniRay, a feed-forward model whose Ray Module is composed of three components: a monotone radial base that captures radially symmetric structure, a spherical-harmonic residual for smooth deviations from it, and a free-form residual for remaining local variation. These components are composed as successive rotations on the sphere, allowing the representation to accommodate diverse camera geometries. Given a single image, OmniRay predicts a ray direction and an up-to-scale radial distance for every pixel, from which a 3D point cloud is recovered without needing camera information at inference time. Extensive experiments across different camera configurations demonstrate that OmniRay establishes a new state-of-the-art in camera-agnostic monocular 3D reconstruction.