Monocular Depth Guided Occlusion-Aware Disparity Refinement via Semi-supervised Learning in Laparoscopic Images

📄 arXiv: 2505.08178v1 📥 PDF

作者: Ziteng Liu, Dongdong He, Chenghong Zhang, Wenpeng Gao, Yili Fu

分类: cs.CV

发布日期: 2025-05-13

💡 一句话要点

提出深度引导的遮挡感知视差精炼网络以解决外科图像中的视差估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视差估计 深度学习 腹腔镜手术 遮挡感知 光流分析 半监督学习 医学图像处理

📋 核心要点

  1. 现有方法在立体腹腔镜图像的视差估计中面临遮挡和标注数据稀缺的挑战，影响了精度和鲁棒性。
  2. 本研究提出的DGORNet通过单目深度信息和位置嵌入模块，增强了视差图的精炼能力，特别是在动态场景中。
  3. 实验结果显示，DGORNet在SCARED数据集上相较于最先进方法在EPE和RMSE指标上均有显著提升，尤其在复杂区域表现突出。

📝 摘要（中文）

遮挡和标注外科数据的稀缺是立体腹腔镜图像视差估计中的重大挑战。为了解决这些问题，本研究提出了一种深度引导的遮挡感知视差精炼网络（DGORNet），该网络通过利用不受遮挡影响的单目深度信息来精炼视差图。引入了位置嵌入模块（PE），提供明确的空间上下文，增强了网络定位和精炼特征的能力。此外，我们还引入了一种光流差异损失（OFDLoss），利用视频帧之间的时间连续性来提高动态外科场景中的鲁棒性。实验结果表明，DGORNet在端点误差（EPE）和均方根误差（RMSE）方面优于现有最先进的方法，尤其是在遮挡和纹理缺失区域。消融研究确认了位置嵌入和光流差异损失的贡献，突显了它们在提高空间和时间一致性方面的作用。这些结果强调了DGORNet在提升腹腔镜手术视差估计中的有效性，为解决视差估计和数据限制中的挑战提供了实用解决方案。

🔬 方法详解

问题定义：本论文旨在解决立体腹腔镜图像中的视差估计问题，尤其是遮挡和标注数据稀缺带来的挑战。现有方法在这些情况下往往表现不佳，导致视差图精度不足。

核心思路：论文提出的DGORNet通过结合单目深度信息和遮挡感知机制，利用不受遮挡影响的深度信息来精炼视差图，从而提高估计的准确性和鲁棒性。

技术框架：DGORNet的整体架构包括位置嵌入模块（PE）和光流差异损失（OFDLoss）。PE模块提供空间上下文信息，而OFDLoss则通过利用视频帧间的时间连续性来增强动态场景中的鲁棒性。

关键创新：最重要的技术创新在于引入了位置嵌入模块和光流差异损失，这两者共同提升了网络在复杂场景下的空间和时间一致性，与现有方法相比，显著改善了视差估计的精度。

关键设计：在网络设计中，位置嵌入模块通过显式的空间信息增强特征提取能力，而光流差异损失则通过对未标注数据的利用，增强了模型在动态场景中的适应性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DGORNet在SCARED数据集上相较于最先进的方法，在端点误差（EPE）和均方根误差（RMSE）上均有显著提升，尤其在遮挡和纹理缺失区域，EPE和RMSE的改善幅度达到了XX%（具体数值未知），验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括腹腔镜手术中的实时视差估计和三维重建，能够为外科医生提供更准确的视觉信息，提升手术的安全性和有效性。未来，该技术可能扩展到其他医疗影像分析和机器人手术领域，具有广泛的实际价值。

📄 摘要（原文）

Occlusion and the scarcity of labeled surgical data are significant challenges in disparity estimation for stereo laparoscopic images. To address these issues, this study proposes a Depth Guided Occlusion-Aware Disparity Refinement Network (DGORNet), which refines disparity maps by leveraging monocular depth information unaffected by occlusion. A Position Embedding (PE) module is introduced to provide explicit spatial context, enhancing the network's ability to localize and refine features. Furthermore, we introduce an Optical Flow Difference Loss (OFDLoss) for unlabeled data, leveraging temporal continuity across video frames to improve robustness in dynamic surgical scenes. Experiments on the SCARED dataset demonstrate that DGORNet outperforms state-of-the-art methods in terms of End-Point Error (EPE) and Root Mean Squared Error (RMSE), particularly in occlusion and texture-less regions. Ablation studies confirm the contributions of the Position Embedding and Optical Flow Difference Loss, highlighting their roles in improving spatial and temporal consistency. These results underscore DGORNet's effectiveness in enhancing disparity estimation for laparoscopic surgery, offering a practical solution to challenges in disparity estimation and data limitations.