ProbeMDE: Uncertainty-Guided Active Proprioception for Monocular Depth Estimation in Surgical Robotics

📄 arXiv: 2512.11773v1 📥 PDF

作者: Britton Jordan, Jordan Thompson, Jesse F. d'Almeida, Hao Li, Nithesh Kumar, Susheela Sharma Stern, Ipek Oguz, Robert J. Webster, Daniel Brown, Alan Kuntz, James Ferguson

分类: cs.RO

发布日期: 2025-12-12

备注: 9 pages, 5 figures

💡 一句话要点

ProbeMDE：不确定性引导的主动触觉单目深度估计，用于手术机器人

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 单目深度估计 主动感知 手术机器人 本体感受 不确定性量化

📋 核心要点

  1. 手术场景中单目深度估计面临纹理缺失、反射和遮挡等挑战，导致预测不确定且不准确。
  2. ProbeMDE结合RGB图像和稀疏本体感受测量，利用模型集合预测深度图，并用不确定性梯度引导主动触觉。
  3. 实验表明，ProbeMDE在模拟和物理环境中均优于基线方法，提高了深度估计精度并减少了触觉测量次数。

📝 摘要（中文）

单目深度估计(MDE)为机器人感知提供了一种有用的工具，但在具有挑战性的环境中，例如手术场景中常见的无纹理表面、镜面反射和遮挡，其预测通常是不确定和不准确的。为了解决这个问题，我们提出了ProbeMDE，一个成本感知的有源传感框架，它结合了RGB图像和稀疏的本体感受测量来进行MDE。我们的方法利用MDE模型的集合来预测密集的深度图，这些深度图以RGB图像和通过本体感受获得的一组稀疏的已知深度测量为条件，其中机器人以已知的配置触摸环境。我们通过集合的方差来量化预测不确定性，并测量不确定性相对于候选测量位置的梯度。为了防止在选择信息量最大的本体感受位置时出现模式崩溃，我们利用Stein变分梯度下降(SVGD)来处理这个梯度图。我们在中心气道阻塞手术模型上进行了模拟和物理实验，验证了我们的方法。结果表明，我们的方法在标准深度估计指标上优于基线方法，在最小化所需本体感受测量数量的同时实现了更高的精度。

🔬 方法详解

问题定义：论文旨在解决手术机器人场景中，由于纹理缺失、镜面反射和遮挡等因素导致的单目深度估计(MDE)不准确和不确定性高的问题。现有的MDE方法在这些具有挑战性的环境中表现不佳，限制了手术机器人的感知能力。

核心思路：论文的核心思路是结合RGB图像和稀疏的本体感受测量，利用主动感知策略来提高MDE的准确性和鲁棒性。通过在机器人已知配置下触摸环境，获得稀疏的深度信息，并将其作为MDE模型的输入，从而约束深度估计结果。同时，利用模型集合预测的不确定性来引导主动触觉，选择信息量最大的测量位置。

技术框架：ProbeMDE框架主要包含以下几个模块：1) 基于RGB图像和稀疏深度测量的MDE模型集合，用于预测深度图和不确定性；2) 不确定性梯度计算模块，用于计算不确定性相对于候选测量位置的梯度；3) 基于Stein变分梯度下降(SVGD)的主动触觉选择模块，用于选择信息量最大的测量位置；4) 机器人本体感受测量模块，用于获取稀疏的深度信息。整体流程是：首先利用MDE模型集合预测深度图和不确定性，然后计算不确定性梯度，利用SVGD选择下一个测量位置，通过机器人本体感受测量获取深度信息，并将新的深度信息加入到MDE模型中，重复以上步骤直到满足精度要求。

关键创新：论文的关键创新在于将主动感知策略与基于模型集合的MDE相结合，利用不确定性引导触觉测量，从而在最小化测量次数的同时，最大化深度估计的精度。此外，利用Stein变分梯度下降(SVGD)来防止主动触觉选择过程中的模式崩溃，保证了测量位置的多样性。

关键设计：MDE模型集合由多个独立的MDE模型组成，每个模型都基于相同的网络结构，但使用不同的初始化参数进行训练。不确定性通过模型集合预测结果的方差来量化。SVGD算法用于在不确定性梯度图上进行采样，选择信息量最大的测量位置。论文没有明确说明具体的网络结构、损失函数等技术细节，这些信息可能在引用的相关论文中。

📊 实验亮点

实验结果表明，ProbeMDE在模拟和物理实验中均优于基线方法。在中心气道阻塞手术模型上，ProbeMDE在减少本体感受测量次数的同时，显著提高了深度估计的精度。具体的性能数据和提升幅度在论文中进行了详细的量化分析，证明了ProbeMDE的有效性。

🎯 应用场景

ProbeMDE在手术机器人领域具有广泛的应用前景，可以提高手术机器人的感知能力，辅助医生进行更精确、安全的手术操作。例如，在微创手术中，医生可以通过ProbeMDE获取更准确的深度信息，从而更好地定位病灶、避开重要器官。此外，该方法还可以应用于其他需要精确深度估计的机器人应用场景，如自动驾驶、三维重建等。

📄 摘要（原文）

Monocular depth estimation (MDE) provides a useful tool for robotic perception, but its predictions are often uncertain and inaccurate in challenging environments such as surgical scenes where textureless surfaces, specular reflections, and occlusions are common. To address this, we propose ProbeMDE, a cost-aware active sensing framework that combines RGB images with sparse proprioceptive measurements for MDE. Our approach utilizes an ensemble of MDE models to predict dense depth maps conditioned on both RGB images and on a sparse set of known depth measurements obtained via proprioception, where the robot has touched the environment in a known configuration. We quantify predictive uncertainty via the ensemble's variance and measure the gradient of the uncertainty with respect to candidate measurement locations. To prevent mode collapse while selecting maximally informative locations to propriocept (touch), we leverage Stein Variational Gradient Descent (SVGD) over this gradient map. We validate our method in both simulated and physical experiments on central airway obstruction surgical phantoms. Our results demonstrate that our approach outperforms baseline methods across standard depth estimation metrics, achieving higher accuracy while minimizing the number of required proprioceptive measurements.