AnyDepth: Depth Estimation Made Easy

📄 arXiv: 2601.02760v1 📥 PDF

作者: Zeyu Ren, Zeyu Zhang, Wukai Li, Qingxiang Liu, Hao Tang

分类: cs.CV

发布日期: 2026-01-06

🔗 代码/项目: GITHUB | PROJECT_PAGE

💡 一句话要点

AnyDepth：轻量级零样本单目深度估计框架，兼顾效率与泛化性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 零样本学习 深度Transformer DINOv3 轻量级模型 数据过滤 场景理解

📋 核心要点

  1. 现有单目深度估计方法依赖大数据集和复杂解码器，导致效率低、泛化性差。
  2. AnyDepth 提出轻量级框架，利用 DINOv3 提取特征，并设计紧凑的 SDT 解码器。
  3. 实验表明，AnyDepth 在五个基准测试中超越 DPT，参数量减少 85%-89%。

📝 摘要（中文）

单目深度估计旨在从2D图像中恢复3D场景的深度信息。现有方法依赖大规模数据集和复杂解码器，限制了效率和泛化能力。本文提出了一个轻量级且数据为中心的零样本单目深度估计框架。首先，采用DINOv3作为视觉编码器以获得高质量的密集特征。其次，针对DPT复杂结构的固有缺陷，设计了简单深度Transformer（SDT），这是一个紧凑的基于Transformer的解码器。与DPT相比，SDT使用单路径特征融合和上采样过程来减少跨尺度特征融合的计算开销，在减少约85%-89%参数量的同时实现更高的精度。此外，提出了一种基于质量的过滤策略来过滤掉有害样本，从而在减少数据集大小的同时提高整体训练质量。在五个基准测试上的大量实验表明，我们的框架在精度上超过了DPT。这项工作强调了平衡模型设计和数据质量对于实现高效和可泛化的零样本深度估计的重要性。

🔬 方法详解

问题定义：单目深度估计旨在从单张二维图像中恢复场景的三维深度信息。现有方法，特别是基于深度Transformer（DPT）的方法，通常依赖于大规模数据集进行训练，并且解码器结构复杂，计算成本高昂，泛化能力受到限制。这些方法难以在资源受限的环境中部署，并且对于未见过的场景表现不佳。

核心思路：AnyDepth 的核心思路是平衡模型设计和数据质量，从而实现高效且泛化能力强的零样本单目深度估计。通过使用预训练的 DINOv3 模型提取高质量的图像特征，并设计一个轻量级的深度 Transformer (SDT) 解码器，减少计算开销。此外，通过数据过滤策略，提升训练数据的质量，进一步提高模型性能。

技术框架：AnyDepth 框架主要包含以下几个模块：1) 视觉编码器：使用预训练的 DINOv3 模型提取图像的密集特征表示。2) 简单深度 Transformer (SDT)：一个轻量级的 Transformer 解码器，用于将 DINOv3 提取的特征转换为深度图。SDT 采用单路径特征融合和上采样过程，避免了 DPT 中复杂的跨尺度特征融合。3) 质量过滤策略：用于过滤掉训练数据集中质量较差的样本，从而提高训练数据的整体质量。

关键创新：AnyDepth 的关键创新点在于：1) SDT 解码器：相比于 DPT，SDT 结构更简单，参数量更少，计算效率更高。2) 质量过滤策略：通过过滤掉有害样本，提升了训练数据的质量，从而提高了模型的性能。与现有方法相比，AnyDepth 更注重模型效率和泛化能力，能够在零样本场景下取得更好的效果。

关键设计：SDT 解码器采用单路径特征融合和上采样过程，避免了 DPT 中复杂的跨尺度特征融合。具体来说，SDT 使用一系列 Transformer 层来处理 DINOv3 提取的特征，然后通过上采样操作将特征图恢复到原始图像的大小。质量过滤策略基于一定的质量指标（具体指标未知）来评估训练样本的质量，并过滤掉低于阈值的样本。损失函数未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AnyDepth 在五个基准测试中均超越了 DPT，证明了其有效性。SDT 解码器的参数量比 DPT 减少了 85%-89%，显著降低了计算成本。通过质量过滤策略，AnyDepth 能够在减少数据集大小的同时提高整体训练质量。这些实验结果表明，AnyDepth 在效率和精度之间取得了良好的平衡。

🎯 应用场景

AnyDepth 在机器人导航、自动驾驶、增强现实等领域具有广泛的应用前景。它可以帮助机器人和自动驾驶车辆理解周围环境的三维结构，从而实现更安全、更智能的导航。在增强现实应用中，AnyDepth 可以用于将虚拟物体与真实场景进行更精确的融合。此外，该方法还可以应用于三维重建、场景理解等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

Monocular depth estimation aims to recover the depth information of 3D scenes from 2D images. Recent work has made significant progress, but its reliance on large-scale datasets and complex decoders has limited its efficiency and generalization ability. In this paper, we propose a lightweight and data-centric framework for zero-shot monocular depth estimation. We first adopt DINOv3 as the visual encoder to obtain high-quality dense features. Secondly, to address the inherent drawbacks of the complex structure of the DPT, we design the Simple Depth Transformer (SDT), a compact transformer-based decoder. Compared to the DPT, it uses a single-path feature fusion and upsampling process to reduce the computational overhead of cross-scale feature fusion, achieving higher accuracy while reducing the number of parameters by approximately 85%-89%. Furthermore, we propose a quality-based filtering strategy to filter out harmful samples, thereby reducing dataset size while improving overall training quality. Extensive experiments on five benchmarks demonstrate that our framework surpasses the DPT in accuracy. This work highlights the importance of balancing model design and data quality for achieving efficient and generalizable zero-shot depth estimation. Code: https://github.com/AIGeeksGroup/AnyDepth. Website: https://aigeeksgroup.github.io/AnyDepth.