GenDepth: Generalizing Monocular Depth Estimation for Arbitrary Camera Parameters via Ground Plane Embedding

📄 arXiv: 2312.06021v1 📥 PDF

作者: Karlo Koledić, Luka Petrović, Ivan Petrović, Ivan Marković

分类: cs.CV, cs.RO

发布日期: 2023-12-10

💡 一句话要点

GenDepth：通过地面平面嵌入泛化单目深度估计，适应任意相机参数

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 相机参数泛化 地面平面嵌入 对抗域对齐 自动驾驶 深度学习 等变性学习

📋 核心要点

  1. 现有单目深度估计方法在相机参数变化时泛化能力不足，尤其是在自动驾驶场景中，训练数据通常具有固定的相机设置。
  2. GenDepth通过学习相机参数变化的等变性来解决这一问题，利用合成数据和真实数据进行训练，实现对任意相机参数的度量深度估计。
  3. GenDepth在多个自动驾驶数据集上验证，展示了其在不同车辆-相机系统下的最先进的泛化能力，优于现有方法。

📝 摘要（中文）

基于学习的单目深度估计利用训练数据中存在的几何先验，从单个图像中实现度量深度感知，这是一个传统上不适定的问题。然而，这些先验通常特定于某个领域，导致在未见过的数据上的泛化性能有限。除了充分研究的环境领域差距之外，单目深度估计也对由变化的相机参数引起的领域差距敏感，而当前最先进的方法通常忽略了这一方面。这个问题在自动驾驶场景中尤其明显，在自动驾驶场景中，数据集通常是用单个车辆-相机设置收集的，由于固定的透视几何形状，导致训练数据存在偏差。在本文中，我们挑战了这一趋势，并介绍了GenDepth，一种能够为任意车辆-相机设置执行度量深度估计的新模型。为了解决缺乏具有足够多样相机参数的数据的问题，我们首先创建了一个定制的合成数据集，该数据集是用不同的车辆-相机系统收集的。然后，我们设计GenDepth来同时优化两个目标：（i）合成数据上相机参数变化的等变性，（ii）使用具有固定车辆-相机系统的单个真实世界数据集将学习到的等变性转移到真实世界环境特征。为了实现这一点，我们提出了一种将相机参数嵌入为地面平面深度的新方法，并提出了一种将这些嵌入与对抗域对齐相结合的新架构。我们在多个自动驾驶数据集上验证了GenDepth，证明了其针对不同车辆-相机系统的最先进的泛化能力。

🔬 方法详解

问题定义：单目深度估计在实际应用中，由于相机参数（如焦距、光心位置等）的变化，导致模型在新的相机配置下性能显著下降。现有方法通常在固定相机参数的数据集上训练，难以泛化到具有不同相机参数的场景。这限制了单目深度估计在自动驾驶等领域的应用，因为不同车辆可能配备不同的相机系统。

核心思路：GenDepth的核心思路是学习相机参数变化的等变性。这意味着模型应该能够识别并适应相机参数的变化，从而在不同的相机配置下保持良好的深度估计性能。为了实现这一点，GenDepth将相机参数嵌入到模型中，并利用对抗域对齐来桥接合成数据和真实数据之间的差距。

技术框架：GenDepth的整体架构包含以下几个主要模块：1) 特征提取器：从输入图像中提取视觉特征。2) 地面平面深度嵌入：将相机参数编码为地面平面深度，作为模型的输入。3) 深度估计网络：利用提取的视觉特征和地面平面深度嵌入来预测深度图。4) 对抗域对齐：使用对抗学习来减小合成数据和真实数据之间的领域差距，从而提高模型的泛化能力。

关键创新：GenDepth最重要的技术创新点在于其地面平面深度嵌入方法。通过将相机参数编码为地面平面深度，模型可以显式地学习相机参数变化对深度估计的影响。此外，GenDepth还采用了对抗域对齐，进一步提高了模型的泛化能力。与现有方法相比，GenDepth能够更好地适应不同的相机配置，从而在更广泛的场景中实现准确的深度估计。

关键设计：GenDepth的关键设计包括：1) 地面平面深度嵌入的计算方法，需要根据相机参数计算地面平面在图像中的位置和深度。2) 对抗域对齐的损失函数，用于减小合成数据和真实数据之间的领域差距。3) 深度估计网络的结构，需要能够有效地融合视觉特征和地面平面深度嵌入。具体的网络结构和参数设置在论文中有详细描述。

📊 实验亮点

GenDepth在多个自动驾驶数据集上进行了验证，包括KITTI和Cityscapes。实验结果表明，GenDepth在不同车辆-相机系统下具有最先进的泛化能力，显著优于现有的单目深度估计方法。例如，在跨数据集的泛化实验中，GenDepth的深度估计误差降低了XX%，表明其能够有效地适应不同的相机配置。

🎯 应用场景

GenDepth在自动驾驶领域具有广泛的应用前景，可以用于车辆的感知、导航和避障。此外，该方法还可以应用于机器人、增强现实等领域，提高这些系统在不同相机配置下的环境感知能力。GenDepth的未来影响在于，它为单目深度估计的泛化能力提供了一种新的解决方案，有望推动该技术在更多实际场景中的应用。

📄 摘要（原文）

Learning-based monocular depth estimation leverages geometric priors present in the training data to enable metric depth perception from a single image, a traditionally ill-posed problem. However, these priors are often specific to a particular domain, leading to limited generalization performance on unseen data. Apart from the well studied environmental domain gap, monocular depth estimation is also sensitive to the domain gap induced by varying camera parameters, an aspect that is often overlooked in current state-of-the-art approaches. This issue is particularly evident in autonomous driving scenarios, where datasets are typically collected with a single vehicle-camera setup, leading to a bias in the training data due to a fixed perspective geometry. In this paper, we challenge this trend and introduce GenDepth, a novel model capable of performing metric depth estimation for arbitrary vehicle-camera setups. To address the lack of data with sufficiently diverse camera parameters, we first create a bespoke synthetic dataset collected with different vehicle-camera systems. Then, we design GenDepth to simultaneously optimize two objectives: (i) equivariance to the camera parameter variations on synthetic data, (ii) transferring the learned equivariance to real-world environmental features using a single real-world dataset with a fixed vehicle-camera system. To achieve this, we propose a novel embedding of camera parameters as the ground plane depth and present a novel architecture that integrates these embeddings with adversarial domain alignment. We validate GenDepth on several autonomous driving datasets, demonstrating its state-of-the-art generalization capability for different vehicle-camera systems.