Augmenting Real-time Visualization in Minimally Invasive Surgery with Particle Filtering and Depth-Aware Occlusion Handling

📄 arXiv: 2610.18422v1 📥 PDF

作者: Anuska Sarkar, Partha Acharya, Vishnu Nandury, Kaustav Basu, Subhamoy Mandal

分类: eess.IV, cs.RO

发布日期: 2026-10-13

备注: Accept

期刊: IEEE Transactions on Medical Robotics and Bionics (T-MRB), October 2026

💡 一句话要点

提出实时可视化框架以解决微创手术中的遮挡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 微创手术 实时可视化 遮挡处理 深度估计 粒子滤波 YOLO检测 图像引导 决策支持

📋 核心要点

  1. 现有微创手术中，手术器械的遮挡问题严重影响了手术的精确性，现有方法难以有效处理。
  2. 本文提出了一种集成YOLO检测、粒子滤波和单目深度估计的混合框架，以实现深度感知的遮挡处理和跟踪。
  3. 实验结果表明，该框架在器械检测、遮挡处理和深度预测方面均表现出色，具有良好的实时性和准确性。

📝 摘要（中文）

本文提出了一种实时混合框架，用于在微创手术中处理遮挡和深度感知跟踪。手术器械造成的遮挡常常遮蔽感兴趣区域（ROI），影响手术精度。为此，我们的方法集成了增强的YOLO检测、粒子滤波（PF）和基于单目深度估计的多深度估计精度网络（MiDaS）。通过基于距离的阈值检测遮挡，实验结果显示，器械检测的置信度为0.85，遮挡事件处理有效，深度预测的平均绝对误差（MAE）为0.34 cm，均方根误差（RMSE）为0.53 cm。独立的幻影验证与立体深度测量相比，MAE为0.65 cm，RMSE为0.66 cm。该框架在保持38.7 FPS的实时性能下，实现了81.95%的遮挡检测准确率。初步的外科医生反馈表明，该可视化框架在临床上具有相关性，并对未来的术中图像引导导航和决策支持具有潜力。

🔬 方法详解

问题定义：本文旨在解决微创手术中由于手术器械造成的遮挡问题，现有方法在处理遮挡和深度跟踪时存在不足，导致手术精度下降。

核心思路：通过集成YOLO检测、粒子滤波和MiDaS深度估计，构建一个实时框架，能够有效检测遮挡并进行深度感知跟踪，从而提升手术的可视化效果。

技术框架：整体架构包括三个主要模块：首先是基于YOLO的器械检测模块，其次是粒子滤波模块用于跟踪，最后是MiDaS模块进行深度估计。框架通过距离阈值检测遮挡事件，并实时更新ROI的深度信息。

关键创新：该研究的创新点在于将粒子滤波与深度估计相结合，形成了一种新的遮挡处理方法，显著提升了对遮挡事件的响应能力，与传统方法相比，具有更高的实时性和准确性。

关键设计：在参数设置上，采用了基于距离的阈值来判断遮挡，损失函数设计上考虑了深度估计的精度，网络结构上使用了YOLO和MiDaS的结合，确保了检测和估计的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该框架在器械检测中获得了0.85的置信度，遮挡检测准确率达到81.95%，并在实时性能上保持38.7 FPS。深度预测的MAE为0.34 cm，RMSE为0.53 cm，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括微创手术中的实时图像引导和决策支持，能够帮助外科医生在复杂环境中更准确地进行手术操作。未来，该框架有望扩展到其他医疗领域，提升手术的安全性和有效性。

📄 摘要（原文）

We present a real-time, hybrid framework for occlusion handling and depth-aware tracking in minimally invasive surgeries (MIS). Occlusions caused by surgical instruments often obscure the region of interest (ROI), affecting surgical precision. To address this, our approach integrates enhanced You Only Look Once (YOLO) based detection, Particle Filtering (PF), and monocular depth estimation using Multiple Depth Estimation Accuracy with Single Network (MiDaS). Occlusion is detected using a distance-based threshold between instruments and ROI. Experimental results demonstrate robust instrument detection with a confidence score of 0.85, effective occlusion event handling, and accurate depth prediction with an MAE of 0.34 cm and RMSE of 0.53 cm. Independent phantom-based validation against stereo depth measurements yielded an MAE of 0.65 cm and RMSE of 0.66 cm. The framework further achieved an occlusion detection accuracy of 81.95\% while maintaining real-time performance at 38.7 FPS. Preliminary surgeon feedback indicates that the proposed visualization framework is clinically relevant and holds promise for future intraoperative image-guided navigation and decision support in MIS.