Multimodal Image-based Robotic Assistance and Guidance Environment (MIRAGE): A Novel Unified Framework for Surgical Navigation and Visualization

📄 arXiv: 2610.12780v1 📥 PDF

作者: Ehsan Nasiri, Yi Zheng, Michael A. Kokko, Xiaoyao Fan, William R. Warner, Keith D. Paulsen, Ryan J. Halter

分类: cs.RO

发布日期: 2026-10-08

备注: Submitted to the ASME Journal of Mechanisms and Robotics; currently under review

💡 一句话要点

提出MIRAGE框架以解决外科手术导航与可视化问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态图像引导 机器人手术 实时可视化 增强现实 立体视觉 超声波导航 技术验证

📋 核心要点

  1. 现有的机器人手术导航系统在实时可视化和多模态数据融合方面存在不足，难以满足复杂手术的需求。
  2. MIRAGE框架通过集成多种技术，如立体视觉、增强现实和超声波，提供了一种统一的解决方案，提升了手术导航的准确性和实时性。
  3. 在预临床实验中，MIRAGE在不同的达芬奇平台上验证了其性能，显示出优越的3D重投影精度，支持其临床应用潜力。

📝 摘要（中文）

本文提出了MIRAGE，一个多模态图像引导的机器人手术框架，旨在实现实时可视化和导航。该框架集成了立体视觉场景重建、增强现实视频叠加、量化的抬头显示导航以及术中超声波，均在达芬奇控制台的TilePro显示器中运行。MIRAGE的预临床验证表明，在临床相关的工作距离下，平均3D重投影误差为0.6mm，最佳为0.1mm，支持其作为准确、响应迅速且可扩展的多模态手术指导平台。

🔬 方法详解

问题定义：现有的机器人手术导航系统在实时可视化和多模态数据融合方面存在不足，难以满足复杂手术的需求。

核心思路：MIRAGE框架通过集成立体视觉、增强现实和超声波等多种技术，提供了一种统一的解决方案，旨在提升手术导航的准确性和实时性。

技术框架：MIRAGE的整体架构包括多个模块，如立体视觉场景重建、增强现实视频叠加、量化的抬头显示导航、术中超声波，以及光学/电磁跟踪器注册、立体校准和3D点云重建等。

关键创新：MIRAGE的主要创新在于其多模态数据的融合与实时处理能力，能够在手术过程中提供精准的导航信息，这是与现有方法的本质区别。

关键设计：在技术细节上，MIRAGE采用C++后端进行视频输入输出和渲染，Python GUI负责校准、注册、重建和用户交互，确保了系统的高效性和响应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在预临床实验中，MIRAGE在不同的达芬奇平台上验证了其性能，显示出平均3D重投影误差为0.6mm，最佳为0.1mm，显著提升了手术导航的准确性，支持其作为临床应用的有效工具。

🎯 应用场景

MIRAGE框架在外科手术导航和可视化领域具有广泛的应用潜力，能够提升手术的安全性和效率。其集成的多模态技术为复杂手术提供了更为精准的指导，未来可扩展至其他医疗领域，如微创手术和机器人辅助治疗。

📄 摘要（原文）

This paper presents the computational architecture and quantitative preclinical evaluation of MIRAGE, a multimodal image-guided robotic surgery framework for real-time visualization and navigation. It integrates stereovision scene reconstruction, augmented-reality (AR) video overlay, quantified heads-up display (HUD) navigation, and intraoperative ultrasound within the da Vinci console's TilePro display (Intuitive Surgical). Additional modules include optical/electromagnetic tracker registration, stereo calibration, fiducial rigid registration with RMSE feedback, and 3D point-cloud reconstruction. Video I/O and rendering run in a C++ backend, while a Python GUI coordinates calibration, registration, reconstruction, visualization, and user interaction through an in-process zero-copy binding layer. The framework formalizes spatial transforms, module states, and synchronization of heterogeneous video and tracking streams. Preoperative calibration uses synchronized checkerboard image pairs and optimization, with estimated intrinsics, extrinsics, and rectification reused intraoperatively. MIRAGE was validated in phantom experiments across da Vinci S, Si, Xi, and SP platforms. Across clinically relevant working distances, mean 3D reprojection error was 0.6mm, with best 0.1mm RMSE at 100mm on Xi. Results support MIRAGE as a preclinical technical-validation platform for accurate, responsive, and extensible multimodal surgical guidance.