On the Role of Depth in Surgical Vision Foundation Models: An Empirical Study of RGB-D Pre-training

📄 arXiv: 2601.18929 📥 PDF

作者: John J. Han, Adam Schmidt, Muhammad Abdullah Jamal, Chinedu Nwoye, Anita Rau, Jie Ying Wu, Omid Mohareri

分类: cs.CV

发布日期: 2026-07-20

💡 一句话要点

通过RGB-D预训练提升外科视觉基础模型性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 外科视觉 深度学习 多模态预训练 几何感知 机器人手术 数据效率 视觉基础模型

📋 核心要点

  1. 现有的外科视觉模型主要依赖RGB图像进行预训练，未能充分利用深度信息，导致对复杂3D几何的理解不足。
  2. 本文提出了一种基于RGB-D数据的预训练方法，通过引入深度信息来增强外科视觉模型的性能，特别是在几何感知方面。
  3. 实验结果显示，采用几何标记的模型在各项任务中表现优异，且在数据效率上显著提升，微调所需标记数据量大幅减少。

📝 摘要（中文）

视觉基础模型（VFM）已成为外科场景理解的强大工具。然而，现有方法主要依赖单模态RGB预训练，忽视了外科环境中固有的复杂3D几何特征。本文进行了一项大规模实证研究，比较了八种基于ViT的VFM，探讨了深度信息在外科设置中的重要性。我们使用了140万对机器人手术图像和深度图的精心策划数据集，评估了这些模型在多个外科数据集上的表现。实验结果表明，采用显式几何标记的模型在所有任务中显著优于单模态基线，并且在仅使用25%的标记数据进行微调时，仍能超越使用全数据集训练的RGB模型。这些发现表明，多模态预训练为构建更强大的外科视觉系统提供了一条可行路径。

🔬 方法详解

问题定义：本文旨在解决现有外科视觉模型在理解复杂3D几何方面的不足，现有方法主要依赖RGB图像，未能充分利用深度信息。

核心思路：通过引入RGB-D预训练，利用深度信息增强模型的几何感知能力，从而提升外科场景理解的准确性和效率。

技术框架：整体架构包括数据准备、模型选择、预训练和微调阶段。使用了140万对机器人手术图像和深度图进行预训练，并在多个外科数据集上进行评估。

关键创新：最重要的创新在于采用显式几何标记化的模型（如MultiMAE），在所有任务中显著超越传统的单模态基线，且无需在推理时进行架构或运行时的更改。

关键设计：模型的设计包括特定的损失函数和网络结构，确保在预训练阶段有效利用深度信息，同时在微调阶段保持高效的数据利用率。实验中，模型在仅使用25%标记数据时，仍能超越使用全数据集训练的RGB模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用几何标记的模型在所有任务中均显著优于单模态基线，尤其是在数据效率方面，微调仅需25%标记数据的模型表现超越RGB模型，显示出深度信息在外科视觉中的重要性。

🎯 应用场景

该研究的潜在应用领域包括机器人手术、医疗图像分析和外科辅助系统。通过提升外科视觉模型的性能，可以更好地支持外科医生在复杂手术中的决策，进而提高手术的安全性和成功率。未来，该技术有望推动智能医疗设备的发展，促进个性化医疗的实现。

📄 摘要（原文）

Vision foundation models (VFMs) have emerged as powerful tools for surgical scene understanding. However, current approaches predominantly rely on unimodal RGB pre-training, overlooking the complex 3D geometry inherent to surgical environments. Although several architectures support multimodal or geometry-aware inputs in general computer vision, the benefits of incorporating depth information in surgical settings remain underexplored. We conduct a large-scale empirical study comparing eight ViT-based VFMs that differ in pre-training domain, learning objective, and input modality (RGB vs. RGB-D). For pre-training, we use a curated dataset of 1.4 million robotic surgical images paired with depth maps generated from an off-the-shelf network. We evaluate these models under both frozen-backbone and end-to-end fine-tuning protocols across eight surgical datasets spanning object detection, segmentation, depth estimation, and pose estimation. Our experiments yield several consistent findings. Models incorporating explicit geometric tokenization, such as MultiMAE, substantially outperform unimodal baselines across all tasks. Notably, geometric-aware pre-training enables remarkable data efficiency: models fine-tuned on just 25% of labeled data consistently surpass RGB-only models trained on the full dataset. Importantly, these gains require no architectural or runtime changes at inference; depth is used only during pre-training, making adoption straightforward. These findings suggest that multimodal pre-training offers a viable path towards building more capable surgical vision systems.