Human-Inspired Framework for Robotic Craniotomy: Integrating Multimodal Fusion and Adaptive Trajectory Adjustment
作者: Renzhen Le, Xiao Zhang, Di Wu, Yuanyu Wei, Jiachen Zhu, Zhenzhi Ying, Pengfei Zhang, Liming Shu
分类: cs.RO
发布日期: 2026-07-23
💡 一句话要点
提出人类启发框架以解决机器人开颅手术中的实时调整问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人手术 闭环控制 多模态融合 自适应算法 神经外科 实时调整 突破检测 手术安全性
📋 核心要点
- 现有的机器人开颅手术方法依赖术前图像，无法实时应对术中组织变形和注册误差，存在安全隐患。
- 本文提出了一种闭环控制的机器人开颅手术框架，结合术前规划与术中执行，提升了手术的安全性与精确性。
- 实验结果表明，该框架在牛肋骨实验中实现了97%的突破预测准确率，且所有实验均未造成硬膜损伤，显示出良好的应用前景。
📝 摘要（中文）
手动开颅手术是一项高风险且依赖技能的程序，存在外科医生疲劳和潜在的硬膜损伤风险。尽管机器人技术提高了安全性，但现有的开环系统仅依赖术前图像，无法补偿术中注册误差或组织变形。为此，本文提出了一种人类启发的闭环机器人开颅手术框架，智能整合术前规划与术中执行。采用自适应双轮廓融合算法生成符合复杂颅骨几何形状的轨迹，同时保持工具与骨骼的相对姿态一致。通过多模态两阶段交叉模态注意力块（CMA）-时间卷积网络（TCN）-变换器网络结合自适应贝叶斯滤波器，融合力和声学信号，实现了在不同骨骼条件下的稳健突破检测。实验结果显示，突破预测准确率达到97%，检测延迟为0.048 +/- 0.097秒，最大超调为0.29毫米，所有四个离体颅骨实验均成功完成且未造成硬膜损伤。这些结果表明，所提出的控制框架实现了安全且自主的开颅手术，具备高效的闭环控制能力。
🔬 方法详解
问题定义：本文旨在解决现有机器人开颅手术中由于依赖术前图像而导致的实时调整不足的问题，现有开环系统无法应对术中组织变形和注册误差，增加了手术风险。
核心思路：提出了一种人类启发的闭环控制框架，通过自适应算法和多模态信号融合，实现术中实时反馈与调整，确保手术的安全性和精确性。
技术框架：整体架构包括术前规划模块、术中执行模块和反馈调整模块。术前规划生成初步轨迹，术中执行通过传感器实时监测并调整轨迹，反馈调整模块则根据检测结果动态修正工具路径。
关键创新：最重要的创新在于引入了自适应双轮廓融合算法和多模态信号融合网络，能够在复杂的颅骨几何形状下保持工具与骨骼的相对姿态一致，显著提升了手术的安全性与有效性。
关键设计：采用了多模态两阶段交叉模态注意力块（CMA）与时间卷积网络（TCN）结合变换器网络的结构，利用自适应贝叶斯滤波器进行信号融合，确保在不同骨骼条件下的稳健检测。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提框架在牛肋骨实验中实现了97%的突破预测准确率，检测延迟仅为0.048 +/- 0.097秒，最大超调仅为0.29毫米，所有实验均成功完成且未造成硬膜损伤，展现出优越的性能。
🎯 应用场景
该研究的潜在应用领域包括神经外科手术中的机器人辅助技术，能够显著降低手术风险，提高手术精度，未来可能在更多复杂外科手术中推广应用，提升整体医疗水平。
📄 摘要（原文）
Manual craniotomy is a high-risk, skill-dependent procedure associated with surgeon fatigue and potential dural injury. While robotic approaches have improved safety, existing open-loop systems rely solely on preoperative images and cannot compensate for intraoperative registration errors or tissue deformation. To address this, we propose a human-inspired closed-loop robotic craniotomy framework that intelligently integrates preoperative planning with intraoperative execution. An adaptive dual-contour fusion algorithm is employed to generate trajectories that conform to complex cranial geometries while maintaining a consistent tool-bone relative pose. For intraoperative perception, a multimodal two-stage cross-modal attention block (CMA)-temporal convolutional network (TCN)-Transformer network combined with an adaptive Bayesian filter fuses force and acoustic signals to achieve robust breakthrough detection under varying bone conditions. Upon detection, an in-situ projection-based trajectory adjustment strategy dynamically compensates for depth deviations, enabling safe residual bone isolation. Experiments on bovine ribs show a breakthrough prediction accuracy of 97%, a detection latency of 0.048 +/- 0.097 s, and a maximum overshoot of 0.29 mm. All four ex vivo cranial experiments were successfully completed without dural injury. These results demonstrate that the proposed cybernetic framework enables safe and autonomous craniotomy with highly effective closed-loop control.