DART: Depth-as-Target Pretraining for Surgical Vision Foundation Models

📄 arXiv: 2609.04555v1 📥 PDF

作者: John J. Han, Adam Schmidt, Muhammad Abdullah Jamal, Jie Ying Wu, Omid Mohareri

分类: cs.CV

发布日期: 2026-09-03

备注: Accepted to BMVC 2026

💡 一句话要点

提出DART以利用深度信息提升外科视觉模型性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉基础模型 深度学习 外科手术 自监督学习 几何信息 模型预训练 图像理解 深度图

📋 核心要点

  1. 现有的自监督预训练方法在外科手术等数据稀缺领域未能有效利用深度信息，导致模型性能不足。
  2. DART通过引入深度图作为预训练目标，结合DINOv2架构，旨在提升模型对场景几何信息的理解能力。
  3. 实验结果显示，DART在多个外科基准测试中表现优异，相较于传统方法显著提高了模型的密集预测和图像理解能力。

📝 摘要（中文）

视觉基础模型（VFM）在数据稀缺的领域如外科手术中具有重要价值，然而现有的自监督预训练方法仅使用RGB图像，未能利用可用的深度图等补充信号。本文提出DART，一个基于DINOv2的RGB-D预训练方法，通过对掩蔽的iBOT补丁应用像素级深度重建目标，利用伪标记的深度进行监督。实验表明，DART在八个外科基准测试中超越了自然图像和领域内的基线，显著提升了密集预测和图像级理解能力，展示了几何伪标签在基础模型预训练中的潜力。

🔬 方法详解

问题定义：本文旨在解决现有视觉基础模型在外科手术领域中未能有效利用深度信息的问题。现有方法主要依赖RGB图像，忽视了深度图等丰富的几何信息，导致模型在特定任务中的性能不足。

核心思路：DART的核心思路是将深度图作为预训练的目标信号，通过对掩蔽的iBOT补丁进行像素级深度重建，利用伪标记的深度信息来增强模型的表示能力。这种设计旨在充分利用可用的几何信息，而不增加推理时的计算成本。

技术框架：DART基于DINOv2架构，主要包括两个阶段：预训练阶段和微调阶段。在预训练阶段，模型通过深度重建任务学习深度信息，而在微调和推理阶段则仅使用RGB图像进行处理。

关键创新：DART的创新在于将深度图作为目标信号进行预训练，这一方法显著提升了模型的表示能力，区别于传统方法仅依赖RGB图像的做法。

关键设计：在DART中，采用了像素级重建损失函数来指导模型学习深度信息，伪标记的深度图用于监督训练。模型结构上，保持了DINOv2的基本框架，同时在输入层增加了深度信息的处理模块。通过这种设计，DART能够在不增加额外标签的情况下，提升模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在八个外科基准测试中，DART相较于传统的自然图像和领域内基线模型表现出色，显著提升了密集预测的准确性和图像级理解能力。具体而言，DART在与相同数据训练的DINOv2模型对比中，展示了更优的性能，验证了深度信息的有效性。

🎯 应用场景

DART的研究成果在外科手术领域具有广泛的应用潜力，能够为手术图像分析、自动化手术辅助系统等提供更强大的视觉理解能力。随着手术数据的积累，DART可以帮助提升手术安全性和效率，推动智能医疗的发展。

📄 摘要（原文）

Vision foundation models (VFMs) are valuable in data-scarce domains such as surgery, where a single pretrained backbone can provide rich representations for many downstream tasks. Yet the dominant self-supervised pretraining paradigm uses only RGB images, leaving readily available complementary signals, such as depth maps, unused. This is a particular missed opportunity in surgery, where natural-image VFMs transfer poorly while the scene geometry is rich and informative. With strong off-the-shelf models now able to produce pseudo-labeled dense depth for any image corpus, we hypothesize that such signals can be folded into pretraining to learn better representations. We present DART, an RGB-D pretraining recipe that builds on DINOv2 with a simple modification: a pixel-space depth reconstruction objective applied to masked iBOT patches, supervised by pseudo-labeled depth. Depth is used only during pretraining, so fine-tuning and inference remain RGB-only. We find that this pixel-level reconstruction head improves representation quality rather than disrupting it. We further show that depth, which encodes scene geometry, is more effective as a target than alternative dense signals such as Canny edges, confirming that the gains stem from depth rather than added supervision alone. Across eight surgical benchmarks spanning segmentation, depth estimation, and image-level recognition, DART outperforms both natural-image and in-domain baselines, including a vanilla DINOv2 trained on identical data, improving dense prediction while also strengthening image-level understanding. More broadly, DART shows that freely available geometric pseudo-labels can strengthen foundation model pretraining without extra labels or added inference cost, pointing toward stronger backbones for surgery.