MCPDepth: Omnidirectional Depth Estimation via Stereo Matching from Multi-Cylindrical Panoramas

📄 arXiv: 2408.01653v3 📥 PDF

作者: Feng Qiao, Zhexiao Xiong, Xinge Zhu, Yuexin Ma, Qiumeng He, Nathan Jacobs

分类: cs.CV

发布日期: 2024-08-03 (更新: 2025-09-29)

备注: Accepted by WACV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

MCPDepth：提出基于多柱面全景图立体匹配的全局深度估计方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 全景深度估计 立体匹配 柱面投影 圆形注意力 多视角融合

📋 核心要点

  1. 全景深度估计受全景图像畸变影响，现有方法对投影方式的探索不足，限制了性能。
  2. MCPDepth通过多柱面全景图的立体匹配进行深度估计，并融合不同视角的深度图，无需定制内核。
  3. 实验表明，柱面投影优于球面和立方体投影，在Deep360和3D60数据集上MAE分别提升18.8%和19.9%。

📝 摘要（中文）

全景深度估计由于全景图像固有的畸变而面临着巨大的挑战。尽管已经取得了显著的进展，但投影方法的影响仍未得到充分探索。我们提出了多柱面全景深度估计（MCPDepth），这是一个新颖的两阶段框架，旨在通过跨多个柱面全景图的立体匹配来增强全景深度估计。MCPDepth首先使用柱面全景图执行立体匹配，然后稳健地融合来自不同视角的深度图。与依赖定制内核来解决畸变的现有方法不同，MCPDepth利用标准网络组件，便于在嵌入式设备上无缝部署，同时提供卓越的性能。为了有效解决柱面全景图中的垂直畸变，MCPDepth结合了一个圆形注意力模块，显著扩展了超出传统卷积的感受野。我们对常见的全景投影——球面、柱面和立方体——进行了全面的理论和实验分析，证明了柱面投影的卓越有效性。我们的方法在室外数据集Deep360上的平均绝对误差（MAE）提高了18.8%，在真实数据集3D60上的平均绝对误差提高了19.9%。这项工作为其他任务和实际应用提供了实践见解，为全景深度估计建立了一个新的范例。代码可在https://github.com/Qjizhi/MCPDepth获得。

🔬 方法详解

问题定义：全景深度估计旨在从全景图像中恢复场景的深度信息。现有方法主要依赖于定制的卷积核或复杂的后处理来处理全景图像的畸变，计算复杂度高，难以在嵌入式设备上部署。此外，现有方法对不同全景投影方式的优劣缺乏深入研究。

核心思路：MCPDepth的核心思路是利用多视角柱面全景图进行立体匹配，从而更有效地估计全景深度。柱面投影在水平方向上保持了较好的线性特性，有利于立体匹配。通过融合多个柱面视角的深度信息，可以提高深度估计的准确性和鲁棒性。

技术框架：MCPDepth是一个两阶段的框架。第一阶段，对多个柱面全景图进行立体匹配，生成初始深度图。第二阶段，采用深度图融合模块，将来自不同视角的深度图进行融合，得到最终的全景深度图。框架主要包含柱面投影变换、立体匹配网络和深度图融合模块。

关键创新：MCPDepth的关键创新在于以下几点：1) 提出了一种基于多柱面全景图的立体匹配方法，充分利用了柱面投影的优势。2) 引入了圆形注意力模块，用于处理柱面全景图中的垂直畸变，扩大了感受野。3) 对比分析了不同全景投影方式的优劣，证明了柱面投影的有效性。与现有方法相比，MCPDepth无需定制内核，更易于部署。

关键设计：MCPDepth采用了标准的立体匹配网络，例如PSMNet或GwcNet，作为立体匹配模块。圆形注意力模块的设计旨在捕捉柱面图像的全局上下文信息，通过在垂直方向上进行循环卷积来实现。深度图融合模块可以使用加权平均或更复杂的深度学习模型。损失函数通常采用L1损失或Huber损失来衡量预测深度与真实深度之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MCPDepth在Deep360和3D60数据集上取得了显著的性能提升。在Deep360数据集上，MAE降低了18.8%，在3D60数据集上，MAE降低了19.9%。实验结果表明，MCPDepth优于现有的全景深度估计方法，并且具有较好的泛化能力。该方法在保持较高精度的同时，计算复杂度较低，易于在嵌入式设备上部署。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、虚拟现实、增强现实等领域。全景深度估计能够为机器人提供更全面的环境感知信息，帮助其进行路径规划和避障。在VR/AR应用中，可以用于构建沉浸式的三维场景，提升用户体验。此外，该方法还可以用于三维重建、场景理解等任务。

📄 摘要（原文）

Omnidirectional depth estimation presents a significant challenge due to the inherent distortions in panoramic images. Despite notable advancements, the impact of projection methods remains underexplored. We introduce Multi-Cylindrical Panoramic Depth Estimation (MCPDepth), a novel two-stage framework designed to enhance omnidirectional depth estimation through stereo matching across multiple cylindrical panoramas. MCPDepth initially performs stereo matching using cylindrical panoramas, followed by a robust fusion of the resulting depth maps from different views. Unlike existing methods that rely on customized kernels to address distortions, MCPDepth utilizes standard network components, facilitating seamless deployment on embedded devices while delivering exceptional performance. To effectively address vertical distortions in cylindrical panoramas, MCPDepth incorporates a circular attention module, significantly expanding the receptive field beyond traditional convolutions. We provide a comprehensive theoretical and experimental analysis of common panoramic projections-spherical, cylindrical, and cubic-demonstrating the superior efficacy of cylindrical projection. Our method improves the mean absolute error (MAE) by 18.8% on the outdoor dataset Deep360 and by 19.9% on the real dataset 3D60. This work offers practical insights for other tasks and real-world applications, establishing a new paradigm in omnidirectional depth estimation. The code is available at https://github.com/Qjizhi/MCPDepth.