From Instrument-Mounted Demonstrations to In-Vivo Execution: Learning Bimanual Laparoscopic Appendectomy Without Robot-Collected Demonstrations
作者: Dongho Yee, Juahn Oh, Jinseok Lee, Jiyul Lee, Yechan Seo, Seong Jeong, Minsung Kim, Seonho Shim, Younghoon Noh, Hyuk Choi, Youngbin Kong, Kyu Eun Lee, Hyoun-Joong Kong
分类: cs.RO
发布日期: 2026-09-22
备注: Submitted to IEEE ICRA 2027
💡 一句话要点
提出一种新方法以实现无机器人收集演示的双手腹腔镜阑尾切除术
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 微创手术 机器人手术 运动捕捉 策略训练 双手操作 传感器融合 实时数据处理
📋 核心要点
- 现有微创手术中，手术结束后外科医生的器械运动数据无法保留，导致训练机器人策略的困难。
- 本文提出了一种新颖的手术器械状态记录器，能够在无外部设备的情况下捕捉手术过程中的运动数据。
- 实验结果表明，基于外科医生自身器械记录的演示数据足以训练出有效的双手手术策略，并在活体动物中成功应用。
📝 摘要（中文）
大多数微创手术仍使用手持腹腔镜器械，手术结束后外科医生的器械运动数据丢失，仅保留内窥镜视频。本文提出了一种端到端的管道，捕捉手术室中的运动并用于训练外科机器人策略，已在活体动物上验证。我们引入了一种手术器械状态记录器，安装在标准腹腔镜器械的轴上，通过惯性传感器、飞行时间传感器和霍尔传感器恢复其姿态和夹口状态，无需外部摄像头或追踪器。通过对每个传感器通道的延迟进行测量并与机器人真实值对齐，形成观察-动作对。在这些演示上，我们训练了一个扩散策略，并在四只活兔子上进行了849次体内演示，结果显示该策略在四只动物中成功完成了阑尾切除术。
🔬 方法详解
问题定义：本文旨在解决在微创手术中外科医生的器械运动数据丢失的问题，现有方法依赖于外部设备收集演示数据，限制了训练的灵活性和有效性。
核心思路：论文提出了一种手术器械状态记录器，能够在手术过程中实时捕捉器械的运动状态，利用这些数据训练外科机器人策略，从而实现无机器人收集演示的手术执行。
技术框架：整体架构包括手术器械状态记录器、数据采集管道和策略训练模块。记录器通过多种传感器捕捉运动数据，数据管道负责对传感器数据进行校准和对齐，最后使用这些数据训练扩散策略。
关键创新：最重要的技术创新在于手术器械状态记录器的设计，能够在无外部摄像头或追踪器的情况下，准确捕捉器械的姿态和状态，与现有依赖外部设备的方法形成鲜明对比。
关键设计：在技术细节上，使用了惯性传感器、飞行时间传感器和霍尔传感器的组合，确保了数据的准确性和实时性。训练过程中采用了微调的DINOv3骨干网络，并通过物理模拟器进行闭环回放设计。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于外科医生自身器械记录的849次体内演示数据，成功在四只活兔子中完成了阑尾切除术，其中三只动物的手术成功率达75%。这一成果表明，所提出的方法具有良好的实用性和有效性。
🎯 应用场景
该研究的潜在应用领域包括微创手术机器人系统的开发与优化，能够提高手术的自动化水平和安全性。未来，该方法可能推动更多复杂手术的机器人化，减少对外科医生的依赖，提升手术效率。
📄 摘要（原文）
Most minimally invasive surgery is still performed with hand-held laparoscopic instruments, and the surgeon's instrument kinematics are lost when the operation ends; only the endoscope video is kept. This paper presents an end-to-end pipeline that captures this motion in the operating room and uses it to train a surgical robot policy, validated on live animals. We introduce a surgical instrument-state logger that mounts on the shaft of a standard laparoscopic instrument and recovers its pose and jaw state from an inertial sensor, a time-of-flight sensor and a Hall sensor, with no external camera or tracker. A data pipeline measures the latency of every sensor channel against a robot ground truth and aligns the channels before forming observation-action pairs. On these demonstrations we train a diffusion policy with a fine-tuned DINOv3 backbone, selecting its design by closed-loop rollouts in a physics simulator reconstructed from depth maps of an ex-vivo rabbit appendix. The policy is then retrained on 849 in-vivo demonstrations from four live rabbits and deployed on four additional live rabbits with electrosurgery armed. With the surgeon selecting the surgical phase, the policy completed the appendectomy in three of the four animals. The results show that demonstrations recorded from a surgeon's own instruments are sufficient to train, select and deploy a bimanual surgical policy in vivo. The robot serves only as the timing reference for sensor calibration and as the executor, and collects no demonstrations. Both demonstration corpora are released to support future surgical robot learning research.