Prompting Depth Anything for 4K Resolution Accurate Metric Depth Estimation

📄 arXiv: 2412.14015v2 📥 PDF

作者: Haotong Lin, Sida Peng, Jingxiao Chen, Songyou Peng, Jiaming Sun, Minghuan Liu, Hujun Bao, Jiashi Feng, Xiaowei Zhou, Bingyi Kang

分类: cs.CV

发布日期: 2024-12-18 (更新: 2025-04-22)

备注: CVPR 2025, Project page: https://PromptDA.github.io/

💡 一句话要点

提出Prompt Depth Anything，利用低成本LiDAR提示实现4K高精度度量深度估计。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度估计 度量深度 提示学习 LiDAR 多模态融合 深度学习 三维重建

📋 核心要点

  1. 现有深度估计方法难以兼顾高分辨率和高精度，尤其是在度量深度估计方面面临挑战。
  2. 论文提出Prompt Depth Anything，利用低成本LiDAR作为提示，引导深度基础模型实现高精度度量深度估计。
  3. 实验表明，该方法在ARKitScenes和ScanNet++数据集上取得了SOTA结果，并提升了3D重建和机器人抓取等下游任务性能。

📝 摘要（中文）

本文首次将提示（Prompting）引入深度基础模型，创建了一种新的度量深度估计范式，称为Prompt Depth Anything。具体而言，我们使用低成本的LiDAR作为提示，引导Depth Anything模型输出准确的度量深度，最高可达4K分辨率。我们的方法核心在于一个简洁的提示融合设计，该设计将LiDAR信息在深度解码器的多个尺度上进行整合。为了解决同时包含LiDAR深度和精确GT深度的数据集有限所带来的训练挑战，我们提出了一个可扩展的数据流水线，包括合成数据LiDAR模拟和真实数据伪GT深度生成。我们的方法在ARKitScenes和ScanNet++数据集上取得了新的state-of-the-art，并有益于下游应用，包括3D重建和通用机器人抓取。

🔬 方法详解

问题定义：现有深度估计方法，特别是基于单目图像的深度估计，难以在高分辨率下保持度量精度。虽然深度学习模型在深度估计方面取得了显著进展，但它们通常依赖于大量的标注数据，并且泛化能力有限。此外，如何有效地利用低成本传感器（如LiDAR）的信息来提升深度估计的精度是一个重要的研究问题。

核心思路：论文的核心思路是利用prompting机制，将低成本LiDAR获取的稀疏深度信息作为提示，引导预训练的深度基础模型Depth Anything生成高分辨率、高精度的度量深度图。通过这种方式，可以有效地利用已有的深度先验知识，并减少对大量精确标注数据的依赖。

技术框架：整体框架包括三个主要部分：LiDAR提示编码、多尺度提示融合和深度解码。首先，使用LiDAR获取的稀疏深度信息经过编码，形成提示向量。然后，将这些提示向量在深度解码器的多个尺度上进行融合，以引导深度特征的生成。最后，通过深度解码器生成最终的深度图。为了解决训练数据不足的问题，论文还提出了一个可扩展的数据流水线，用于生成合成数据和伪GT深度。

关键创新：论文的关键创新在于将prompting机制引入深度估计领域，并设计了一种有效的多尺度提示融合方法。与传统的深度估计方法相比，该方法能够更好地利用外部传感器信息，并生成更高质量的深度图。此外，提出的数据流水线也为训练深度估计模型提供了更多的可能性。

关键设计：在提示融合方面，论文设计了一种简洁有效的融合模块，将LiDAR提示信息注入到深度解码器的不同层级。具体来说，可以使用注意力机制或者简单的加权融合来实现提示信息的整合。在数据生成方面，论文利用合成数据模拟LiDAR扫描过程，并使用现有的深度估计方法生成真实数据的伪GT深度。损失函数方面，可以使用L1损失或Huber损失来衡量预测深度与GT深度之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Prompt Depth Anything在ARKitScenes和ScanNet++数据集上取得了显著的性能提升，超越了现有的state-of-the-art方法。例如，在ARKitScenes数据集上，该方法将深度估计的平均绝对误差降低了XX%，并在ScanNet++数据集上取得了类似的提升。此外，该方法还显著改善了3D重建和机器人抓取等下游任务的性能。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、三维重建、虚拟现实等领域。通过利用低成本LiDAR作为提示，可以显著降低深度感知系统的成本，并提高其在复杂环境中的鲁棒性。此外，该方法还可以用于增强现实应用，例如将虚拟物体精确地叠加到真实场景中。

📄 摘要（原文）

Prompts play a critical role in unleashing the power of language and vision foundation models for specific tasks. For the first time, we introduce prompting into depth foundation models, creating a new paradigm for metric depth estimation termed Prompt Depth Anything. Specifically, we use a low-cost LiDAR as the prompt to guide the Depth Anything model for accurate metric depth output, achieving up to 4K resolution. Our approach centers on a concise prompt fusion design that integrates the LiDAR at multiple scales within the depth decoder. To address training challenges posed by limited datasets containing both LiDAR depth and precise GT depth, we propose a scalable data pipeline that includes synthetic data LiDAR simulation and real data pseudo GT depth generation. Our approach sets new state-of-the-arts on the ARKitScenes and ScanNet++ datasets and benefits downstream applications, including 3D reconstruction and generalized robotic grasping.