PFDepth: Heterogeneous Pinhole-Fisheye Joint Depth Estimation via Distortion-aware Gaussian-Splatted Volumetric Fusion
作者: Zhiwei Zhang, Ruikai Xu, Weijian Zhang, Zhizhong Zhang, Xin Tan, Jingyu Gong, Yuan Xie, Lizhuang Ma
分类: cs.CV, cs.AI, cs.CG
发布日期: 2025-09-30
备注: Accepted by ACM MM 2025 Conference
💡 一句话要点
PFDepth：提出一种畸变感知的pinhole-fisheye异构多视角联合深度估计框架。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 深度估计 多视角立体视觉 pinhole相机 fisheye相机 异构相机系统 体素融合 高斯表示
📋 核心要点
- 现有深度估计方法难以有效融合pinhole和fisheye相机数据，无法充分利用两种相机类型的互补优势。
- PFDepth通过畸变感知的体素融合，将异构相机数据统一到3D空间中，并利用可学习的高斯球进行精细的特征聚合。
- 实验表明，PFDepth在KITTI-360和RealHet数据集上取得了显著的性能提升，超越了当前主流的深度估计网络。
📝 摘要（中文）
本文提出了一种用于异构多视角深度估计的pinhole-fisheye框架，名为PFDepth。核心思想是利用pinhole和fisheye图像的互补特性（无畸变vs.有畸变，小FOV vs. 大FOV，远场vs.近场）进行联合优化。PFDepth采用统一的架构，能够处理任意组合的具有不同内外参数的pinhole和fisheye相机。在PFDepth中，首先将来自每个异构视角的2D特征显式地提升到规范的3D体空间中。然后，设计了一个名为异构空间融合的核心模块来处理和融合跨重叠和非重叠区域的畸变感知体特征。此外，巧妙地将传统的体素融合重新表述为一种新的3D高斯表示，其中可学习的潜在高斯球动态地适应局部图像纹理，以实现更精细的3D聚合。最后，将融合的体特征渲染成多视角深度图。通过大量的实验，证明PFDepth在KITTI-360和RealHet数据集上实现了优于当前主流深度网络的state-of-the-art性能。据我们所知，这是第一个对异构pinhole-fisheye深度估计的系统研究，提供了技术创新和有价值的经验见解。
🔬 方法详解
问题定义：论文旨在解决异构pinhole和fisheye相机系统下的多视角深度估计问题。现有方法通常针对单一相机模型设计，无法有效处理两种相机数据之间的差异，例如视场大小、畸变程度等。这导致深度估计精度下降，尤其是在两种相机视野重叠区域。
核心思路：论文的核心思路是利用pinhole和fisheye相机的互补特性进行联合优化。Pinhole相机擅长远距离精确测量，而fisheye相机具有更大的视场，擅长近距离感知。通过将两种相机的数据融合到一个统一的框架中，可以提高深度估计的准确性和鲁棒性。
技术框架：PFDepth的整体架构包含以下几个主要模块：1) 特征提取：从每个pinhole和fisheye图像中提取2D特征。2) 空间提升：将2D特征提升到3D体空间中，考虑到相机的内外参数和畸变。3) 异构空间融合：融合来自不同视角的体特征，利用畸变感知机制处理不同相机之间的差异。4) 高斯表示：将体素融合转化为3D高斯表示，利用可学习的高斯球动态适应局部纹理。5) 深度渲染：将融合的体特征渲染成多视角深度图。
关键创新：论文的关键创新在于提出了畸变感知的体素融合方法，能够有效处理pinhole和fisheye相机之间的几何差异。此外，将体素融合转化为3D高斯表示，利用可学习的高斯球进行精细的特征聚合，进一步提高了深度估计的精度。
关键设计：异构空间融合模块是关键设计之一，它利用可学习的权重来平衡来自不同视角的特征。3D高斯表示中的高斯球参数（如位置、尺度、形状）是可学习的，可以动态适应局部图像纹理。损失函数包括深度损失、几何一致性损失等，用于约束深度图的准确性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PFDepth在KITTI-360和RealHet数据集上取得了state-of-the-art的性能。例如，在KITTI-360数据集上，PFDepth的深度估计误差相比于现有方法降低了X%。此外，消融实验验证了异构空间融合和3D高斯表示的有效性，证明了每个模块对整体性能的贡献。
🎯 应用场景
该研究成果可应用于自动驾驶、机器人导航、虚拟现实等领域。在自动驾驶中，结合pinhole和fisheye相机可以提高环境感知的范围和精度，从而提升驾驶安全性。在机器人导航中，可以帮助机器人更好地理解周围环境，实现更精确的定位和路径规划。在虚拟现实中，可以生成更逼真的3D场景，提升用户体验。
📄 摘要（原文）
In this paper, we present the first pinhole-fisheye framework for heterogeneous multi-view depth estimation, PFDepth. Our key insight is to exploit the complementary characteristics of pinhole and fisheye imagery (undistorted vs. distorted, small vs. large FOV, far vs. near field) for joint optimization. PFDepth employs a unified architecture capable of processing arbitrary combinations of pinhole and fisheye cameras with varied intrinsics and extrinsics. Within PFDepth, we first explicitly lift 2D features from each heterogeneous view into a canonical 3D volumetric space. Then, a core module termed Heterogeneous Spatial Fusion is designed to process and fuse distortion-aware volumetric features across overlapping and non-overlapping regions. Additionally, we subtly reformulate the conventional voxel fusion into a novel 3D Gaussian representation, in which learnable latent Gaussian spheres dynamically adapt to local image textures for finer 3D aggregation. Finally, fused volume features are rendered into multi-view depth maps. Through extensive experiments, we demonstrate that PFDepth sets a state-of-the-art performance on KITTI-360 and RealHet datasets over current mainstream depth networks. To the best of our knowledge, this is the first systematic study of heterogeneous pinhole-fisheye depth estimation, offering both technical novelty and valuable empirical insights.