Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation
作者: Igor Pavlovic, Thiemo Wandel, Anton Obukhov, Luca Bartolomei, Andrey Davydov, Fabio Tosi, Matteo Poggi, Sabine Süsstrunk, Dengxin Dai
分类: cs.CV, cs.LG
发布日期: 2026-09-08
备注: SIGGRAPH Asia 2026
💡 一句话要点
提出Marigold V2以解决单目深度估计中的泛化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 单目深度估计 扩散变换器 深度图生成 模型泛化 计算机视觉 机器人技术 损失函数设计
📋 核心要点
- 现有单目深度估计模型在处理分布外输入时泛化能力不足，生成的深度图缺乏细节和清晰度。
- 本文提出了一种基于扩散变换器的单步推理方法，结合语义特征对齐和Sinkhorn损失函数的两阶段微调策略。
- 实验结果表明，Marigold V2在KITTI和ETH3D数据集上实现了16-26%的AbsRel误差改善，且在其他密集回归任务中也表现优异。
📝 摘要（中文）
单目深度估计是计算机视觉中的重要任务，广泛应用于场景重建、计算摄影和机器人等领域。尽管该领域已有一定成熟度，现有模型在处理分布外输入时仍面临挑战，且生成的深度图往往不够清晰。本文重新审视了Marigold技术，利用扩散变换器架构（DiT）将现代图像生成和编辑模型转化为先进的单目深度估计器。我们提出了针对预训练多步流匹配模型的单步推理方法，并通过对模型内部表示与真实语义特征的对齐以及采用基于Sinkhorn的新损失函数的两阶段微调协议，显著提升了深度图的质量。实验结果显示，模型在KITTI和ETH3D数据集上相较于之前的最佳模型在绝对相对误差（AbsRel）上提高了16-26%。
🔬 方法详解
问题定义：本文旨在解决单目深度估计中模型对分布外输入的泛化能力不足和生成深度图质量不高的问题。现有方法在处理复杂场景时常常无法生成清晰、细致的深度图。
核心思路：论文提出了一种新的方法，通过利用扩散变换器架构，重新设计了单目深度估计的推理过程，重点在于通过对齐模型内部表示与真实语义特征来提升模型性能。
技术框架：整体架构包括预训练的多步流匹配模型，采用单步推理策略，并在此基础上进行量化处理。模型的微调过程分为两个阶段，使用Sinkhorn损失函数进行优化。
关键创新：最重要的创新在于通过对齐内部表示与语义特征的方式，显著改善了模型的泛化能力和深度图的清晰度。这一方法与传统的单目深度估计技术有本质区别。
关键设计：在参数设置上，采用了量化策略以降低计算成本，同时在损失函数设计中引入了Sinkhorn损失，以增强模型的训练效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Marigold V2在KITTI和ETH3D数据集上相较于之前的最佳模型在绝对相对误差（AbsRel）上提高了16-26%。此外，模型在处理复杂细节（如毛发、树叶等）方面表现出色，超越了以往的技术水平。
🎯 应用场景
该研究在单目深度估计领域具有广泛的应用潜力，能够提升机器人导航、增强现实和自动驾驶等技术的性能。通过生成更清晰的深度图，Marigold V2可为复杂场景的理解和重建提供更可靠的支持，推动相关领域的进一步发展。
📄 摘要（原文）
Monocular depth estimation is a ubiquitous yet highly ill-posed computer vision task, with downstream applications in scene reconstruction, computational photography, and robotics, among others. Despite the field's maturity, recent models still struggle to generalize to out-of-distribution inputs and to produce sharp and detailed depth maps. In this paper, we revisit Marigold, a set of techniques for repurposing modern image generation and editing models, powered by the diffusion transformer (DiT) architecture, into state-of-the-art monocular depth estimators. Our recipes target single-step inference from pretrained multi-step flow-matching models, with quantization where needed, preserving model capacity while remaining cheap to run. We analyze the artifacts of naive training and identify two effective remedies: aligning the model's internal representations with semantic features extracted from ground-truth, and adopting a 2-stage fine-tuning protocol built around a novel Sinkhorn-based loss. The results are crisper, cleaner depth maps that generalize well out-of-distribution, with 16-26% improvement in AbsRel over the previous best on KITTI and ETH3D. Qualitatively, our model resolves fur, foliage, and hair-thin edges that have eluded prior models. Furthermore, Marigold V2 achieves state-of-the-art results when applied to other dense regression tasks, such as surface normals estimation and intrinsic image decomposition. Project website: https://hf.co/spaces/huawei-bayerlab/marigold-v2-web