RSA: Resolving Scale Ambiguities in Monocular Depth Estimators through Language Descriptions

📄 arXiv: 2410.02924v2 📥 PDF

作者: Ziyao Zeng, Yangchao Wu, Hyoungseob Park, Daniel Wang, Fengyu Yang, Stefano Soatto, Dong Lao, Byung-Woo Hong, Alex Wong

分类: cs.CV

发布日期: 2024-10-03 (更新: 2024-11-03)

💡 一句话要点

RSA：利用语言描述解决单目深度估计中的尺度模糊问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 尺度恢复 语言描述 多模态学习 零样本学习

📋 核心要点

  1. 单目深度估计存在尺度模糊问题，现有方法通常预测相对深度，缺乏绝对尺度信息。
  2. RSA方法利用图像的语言描述，通过学习相对深度到度量深度的线性变换来恢复绝对尺度。
  3. 实验表明，RSA在室内外数据集上均有效，且在零样本场景下可作为通用对齐模块。

📝 摘要（中文）

本文提出了一种用于度量尺度单目深度估计的方法。从单张图像推断深度是一个病态问题，因为图像形成过程中透视投影会损失尺度信息。任何选择的尺度都是一种偏差，通常源于数据集的训练；因此，现有的工作选择使用相对（归一化、逆）深度。我们的目标是通过线性变换恢复度量尺度的深度图。我们方法的核心在于观察到某些物体（例如，汽车、树木、路标）通常存在于或与某些类型的场景（例如，室外）相关联。我们探索是否可以使用语言描述将相对深度预测转换为度量尺度。我们的方法RSA，以描述图像中存在的物体的文本标题作为输入，并输出线性变换的参数，该参数可以全局应用于相对深度图以产生度量尺度的深度预测。我们在室内（NYUv2、VOID）和室外（KITTI）数据集上，对最近的通用单目深度模型进行了演示。当在多个数据集上训练时，RSA可以作为零样本设置中的通用对齐模块。我们的方法优于将相对深度与度量深度对齐的常见做法，并产生与通过线性变换将相对深度拟合到真实值的上限相当的预测。

🔬 方法详解

问题定义：单目深度估计由于缺乏几何约束，无法直接预测具有真实物理尺度的深度值，即存在尺度模糊性。现有方法通常预测相对深度，这限制了其在需要绝对深度信息的实际应用中的价值。现有方法要么依赖于特定数据集的统计偏差，要么需要额外的传感器信息。

核心思路：论文的核心思想是利用图像的语义信息（通过语言描述提供）来推断场景的尺度信息。某些物体和场景之间存在关联（例如，汽车通常出现在街道场景中），这些关联可以作为尺度恢复的先验知识。通过学习语言描述和相对深度之间的映射关系，可以预测一个线性变换，将相对深度转换为度量深度。

技术框架：RSA方法的整体框架包括以下几个步骤：1) 输入图像和对应的文本描述；2) 使用现有的单目深度估计模型预测相对深度图；3) 使用文本描述作为输入，通过一个神经网络预测线性变换的参数（尺度因子和平移量）；4) 将预测的线性变换应用于相对深度图，得到度量尺度的深度图。该框架可以与任何现有的单目深度估计模型结合使用。

关键创新：RSA的关键创新在于将语言信息引入到单目深度估计中，从而解决了尺度模糊问题。与传统方法不同，RSA不需要额外的传感器信息或对特定数据集的依赖。通过学习语言描述和深度尺度之间的关系，RSA可以实现零样本的尺度恢复。

关键设计：RSA的关键设计包括：1) 使用预训练的文本编码器（例如，BERT）提取文本描述的特征；2) 使用一个多层感知机（MLP）将文本特征映射到线性变换的参数；3) 使用L1损失或L2损失来训练网络，目标是最小化预测深度和真实深度之间的差异。线性变换的参数被限制在合理的范围内，以避免出现不合理的深度值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RSA在NYUv2、VOID和KITTI数据集上进行了评估，结果表明，该方法能够有效地恢复度量尺度深度。在零样本设置下，RSA也表现出良好的泛化能力，可以作为通用对齐模块应用于不同的单目深度估计模型。实验结果表明，RSA的性能接近于将相对深度拟合到真实值的线性变换的上限。

🎯 应用场景

RSA方法可应用于机器人导航、自动驾驶、增强现实等领域。在这些应用中，准确的度量尺度深度信息至关重要。例如，机器人需要知道物体的真实大小和距离才能进行有效的路径规划和物体交互。自动驾驶系统需要准确的深度信息来检测障碍物并避免碰撞。RSA通过利用语言描述，提供了一种无需额外传感器即可获得度量尺度深度信息的方法，降低了系统成本并提高了适用性。

📄 摘要（原文）

We propose a method for metric-scale monocular depth estimation. Inferring depth from a single image is an ill-posed problem due to the loss of scale from perspective projection during the image formation process. Any scale chosen is a bias, typically stemming from training on a dataset; hence, existing works have instead opted to use relative (normalized, inverse) depth. Our goal is to recover metric-scaled depth maps through a linear transformation. The crux of our method lies in the observation that certain objects (e.g., cars, trees, street signs) are typically found or associated with certain types of scenes (e.g., outdoor). We explore whether language descriptions can be used to transform relative depth predictions to those in metric scale. Our method, RSA, takes as input a text caption describing objects present in an image and outputs the parameters of a linear transformation which can be applied globally to a relative depth map to yield metric-scaled depth predictions. We demonstrate our method on recent general-purpose monocular depth models on indoors (NYUv2, VOID) and outdoors (KITTI). When trained on multiple datasets, RSA can serve as a general alignment module in zero-shot settings. Our method improves over common practices in aligning relative to metric depth and results in predictions that are comparable to an upper bound of fitting relative depth to ground truth via a linear transformation.