Learning-Based Autonomous Navigation, Benchmark Environments and Simulation Framework for Endovascular Interventions
作者: Lennart Karstensen, Harry Robertshaw, Johannes Hatzl, Benjamin Jackson, Jens Langejürgen, Katharina Breininger, Christian Uhl, S. M. Hadi Sadati, Thomas Booth, Christos Bergeles, Franziska Mathis-Ullrich
分类: cs.RO
发布日期: 2024-10-02
💡 一句话要点
提出基于深度强化学习的血管内介入自主导航框架stEVE，并验证其在真实环境中的可行性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 血管内介入 自主导航 深度强化学习 模拟环境 机器人 迁移学习 医疗机器人
📋 核心要点
- 现有血管内介入治疗存在辐射暴露和医生短缺问题，且缺乏统一的评估环境，阻碍了不同AI方法的比较。
- 论文提出基于深度强化学习的自主导航方法，利用模块化模拟框架stEVE进行训练，并迁移到真实环境。
- 实验表明，该方法在BasicWireNav和ArchVariety任务中表现出色，成功从模拟环境迁移到物理测试台。
📝 摘要（中文）
血管内介入治疗是许多疾病的救命疗法，但存在辐射暴露和熟练医生可能短缺等缺点。机器人辅助介入治疗有望解决这些问题。基于人工智能的自主血管内介入研究越来越受欢迎。然而，评估环境的多样性阻碍了不同方法的效果比较，主要是因为每个研究都采用独特的评估框架。本研究提出了基于深度强化学习的自主血管内设备导航，应用于三个不同的数字基准介入环境：BasicWireNav、ArchVariety和DualDeviceNav。这些基准介入环境通过我们模块化的模拟框架stEVE（模拟血管内环境）实现。自主控制器仅在模拟环境中训练，并在模拟环境以及带有相机和荧光透视反馈的物理测试台上进行评估。BasicWireNav和ArchVariety的自主控制达到了很高的成功率，并成功地从模拟训练环境转移到物理测试台，而DualDeviceNav的自主控制达到了中等的成功率。实验证明了stEVE的可行性及其将模拟训练的控制器转移到真实场景的潜力。然而，它们也揭示了未来研究的机会。本研究证明了自主控制器在血管内导航中从模拟到现实世界的可转移性，并通过提供开源训练脚本、基准和stEVE框架，降低了准入门槛，提高了血管内辅助系统研究的可比性。
🔬 方法详解
问题定义：血管内介入治疗需要精确的器械控制，但医生资源有限且暴露于辐射。现有基于AI的自主导航研究缺乏统一的评估标准和环境，难以比较不同算法的优劣，阻碍了该领域的发展。
核心思路：利用深度强化学习训练自主导航控制器，通过模拟环境降低训练成本和风险，并设计模块化的模拟框架stEVE，以提供标准化的训练和评估环境。核心在于实现从模拟环境到真实环境的知识迁移，解决真实环境数据获取困难的问题。
技术框架：整体框架包含三个主要部分：1) 模块化的模拟环境stEVE，用于生成训练数据和评估控制器性能；2) 基于深度强化学习的自主导航控制器，负责根据环境反馈控制血管内器械；3) 物理测试台，用于在真实环境中验证控制器的性能。训练过程在stEVE中进行，评估则在stEVE和物理测试台上同时进行。
关键创新：主要创新点在于构建了一个模块化、可定制的血管内介入模拟环境stEVE，并验证了基于深度强化学习的自主导航控制器从模拟环境到真实环境的可迁移性。这降低了研究门槛，并为该领域的研究提供了标准化的基准。
关键设计：论文使用了深度强化学习算法（具体算法未知），并针对血管内导航任务设计了奖励函数，以鼓励控制器学习安全、高效的导航策略。模拟环境stEVE允许调整血管的几何形状、物理参数和传感器噪声，以模拟不同的临床场景。具体网络结构和参数设置未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在BasicWireNav和ArchVariety任务中，自主控制器在模拟和真实环境中均达到了较高的成功率，验证了从模拟到真实的迁移能力。DualDeviceNav任务的成功率较低，表明双器械协同控制仍面临挑战。具体性能数据未知，但整体结果表明stEVE框架和自主导航方法具有实际应用潜力。
🎯 应用场景
该研究成果可应用于血管内介入手术机器人，辅助医生进行更精确、安全的器械操作，降低辐射暴露，并缓解医生资源短缺问题。未来，该技术有望实现完全自主的血管内介入手术，提高治疗效率和可及性，尤其是在偏远地区或紧急情况下。
📄 摘要（原文）
Endovascular interventions are a life-saving treatment for many diseases, yet suffer from drawbacks such as radiation exposure and potential scarcity of proficient physicians. Robotic assistance during these interventions could be a promising support towards these problems. Research focusing on autonomous endovascular interventions utilizing artificial intelligence-based methodologies is gaining popularity. However, variability in assessment environments hinders the ability to compare and contrast the efficacy of different approaches, primarily due to each study employing a unique evaluation framework. In this study, we present deep reinforcement learning-based autonomous endovascular device navigation on three distinct digital benchmark interventions: BasicWireNav, ArchVariety, and DualDeviceNav. The benchmark interventions were implemented with our modular simulation framework stEVE (simulated EndoVascular Environment). Autonomous controllers were trained solely in simulation and evaluated in simulation and on physical test benches with camera and fluoroscopy feedback. Autonomous control for BasicWireNav and ArchVariety reached high success rates and was successfully transferred from the simulated training environment to the physical test benches, while autonomous control for DualDeviceNav reached a moderate success rate. The experiments demonstrate the feasibility of stEVE and its potential for transferring controllers trained in simulation to real-world scenarios. Nevertheless, they also reveal areas that offer opportunities for future research. This study demonstrates the transferability of autonomous controllers from simulation to the real world in endovascular navigation and lowers the entry barriers and increases the comparability of research on endovascular assistance systems by providing open-source training scripts, benchmarks and the stEVE framework.