Digital Twin-Driven VR Teleoperation with Multi-View Spatial Perception for Surgical Robots
作者: Chang Liu, Chenhao Yu, Honghao Zhao, Hao Ding, Haochen Wei, Adnan Munawar, Mathias Unberath, Peter Kazanzides
分类: cs.RO
发布日期: 2026-09-22
备注: 8 pages, 8 figures. Accepted to IROS 2026
💡 一句话要点
提出数字双胞胎驱动的VR远程操作平台以解决手术机器人视角限制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 数字双胞胎 虚拟现实 远程操作 手术机器人 深度感知 多视角渲染 用户研究
📋 核心要点
- 现有的机器人辅助微创手术系统在视角和深度感知上存在限制，影响了外科医生的操作体验和效果。
- 本文提出了一种基于数字双胞胎的VR远程操作平台，通过多视角渲染和自然运动视差来提升手术操作的灵活性和深度感知能力。
- 用户研究显示，该平台在路径长度上减少了86%，抖动减少了95%，并在深度感知信心上与传统控制台相当或更优。
📝 摘要（中文）
当前的机器人辅助微创手术平台为外科医生提供了固定控制台，以查看立体内窥镜图像并远程操作患者体内的仪器。然而，使用头戴式显示器（HMD）作为便携控制台的方案仍然存在视角限制和深度感知不足的问题。本文提出了一种数字双胞胎驱动的虚拟现实（VR）远程操作平台，通过无标记感知创建手术环境的数字双胞胎，并在HMD上进行多视角渲染，克服了视频透视的局限性。该系统利用VR手柄扩展了远程操作的工作空间，并提高了仪器控制的稳定性和鲁棒性。用户研究表明，该平台在路径长度和抖动方面显著优于现有的HoloLens 2混合现实基线。
🔬 方法详解
问题定义：本文旨在解决现有机器人辅助微创手术平台在视角限制和深度感知不足的问题。传统的固定控制台和HMD方案都无法提供多视角的深度信息，限制了外科医生的操作灵活性。
核心思路：论文提出的解决方案是通过数字双胞胎技术，利用无标记感知创建手术环境的三维模型，并在VR环境中进行多视角渲染，从而提升用户的深度感知和操作自由度。
技术框架：整体架构包括数字双胞胎的创建、数据流传输、VR环境的渲染以及用户交互模块。主要模块包括环境感知模块、数据处理模块和用户界面模块。
关键创新：最重要的技术创新在于通过数字双胞胎实现多视角渲染和自然运动视差，显著提高了用户的深度感知能力，并允许用户的手部姿态与仪器的严格对齐解耦。
关键设计：系统采用VR手柄进行操作，增强了远程操作的工作空间，并通过优化控制算法提高了仪器控制的稳定性。具体的参数设置和损失函数设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
在一项包含15名参与者的用户研究中，提出的VR平台在路径长度上减少了86%，抖动减少了95%，并在深度感知信心上与传统控制台相当或更优，显著优于HoloLens 2混合现实基线。
🎯 应用场景
该研究的潜在应用领域包括机器人辅助手术、远程医疗和虚拟现实训练等。通过提升手术操作的灵活性和深度感知能力，能够有效改善外科医生的工作效率和患者的手术体验，未来可能推动微创手术技术的发展。
📄 摘要（原文）
Current robot-assisted minimally-invasive surgery (RMIS) platforms provide a fixed console for the surgeon to view stereo endoscopic images and teleoperate instruments inside the patient. Several researchers have proposed the use of a head-mounted display (HMD) as a portable console, with video pass-through rendering of the endoscope images which, like the fixed console, restricts the operator to a single endoscopic viewpoint and limits depth perception. We present a digital twin-driven virtual reality (VR) teleoperation platform, where the digital twin is created from markerless perception of the surgical environment and streamed for display on the HMD. This overcomes the limitations of video pass-through by providing multi-view rendering and natural motion-parallax cues, enabling decoupling of the user's hand posture from strict instrument alignment. The system utilizes VR hand controllers to increase the teleoperation workspace and to improve the robustness and stability of instrument control compared to the hand tracking approach adopted by most prior systems. A 15-participant user study on the da Vinci Research Kit (dVRK) shows that our VR platform significantly outperforms a state-of-the-art HoloLens 2 mixed reality baseline, reducing path length by 86% and jerk by 95%, while achieving depth perception confidence comparable to or exceeding the traditional console across all conditions.