Hybrid Deep Reinforcement Learning for Radio Tracer Localisation in Robotic-assisted Radioguided Surgery
作者: Hanyi Zhang, Kaizhong Deng, Zhaoyang Jacopo Hu, Baoru Huang, Daniel S. Elson
分类: cs.RO
发布日期: 2025-03-11
备注: Accepted to IEEE International Conference on Robotics and Automation (ICRA) 2025
💡 一句话要点
提出混合深度强化学习方法，用于机器人辅助放射性示踪剂定位
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 机器人辅助手术 放射引导手术 放射性示踪剂定位 自适应扫描
📋 核心要点
- 传统放射引导手术依赖外科医生手动检测，易受主观因素影响，空间信息解读能力要求高。
- 提出一种混合方法，结合自适应扫描提供初始方向，利用深度强化学习智能体高效导航至目标。
- 仿真实验成功率达95%，真实dVRK评估成功率80%，验证了方法的有效性和可行性。
📝 摘要（中文）
本研究提出了一种基于学习的方法，通过引导探针自主导航至放射性靶标，从而实现机器人辅助手术中的放射性示踪剂自动检测。该方法结合了深度强化学习（DRL）和自适应机器人扫描。自适应网格扫描提供初始方向估计，而基于DRL的智能体利用历史数据高效地导航至靶标。仿真实验表明，该方法成功率达到95%，与传统技术相比，效率和鲁棒性均有所提高。在达芬奇研究工具包（dVRK）上的真实评估进一步证实了该方法的可行性，在放射性示踪剂检测中实现了80%的成功率。该方法有潜力提高放射引导手术的一致性，降低对操作者的依赖性，并提高手术的精确度。
🔬 方法详解
问题定义：放射引导手术中，放射性靶标的精确定位至关重要。传统方法依赖外科医生手动操作，通过视觉或听觉反馈判断伽马射线水平，效率低且易受主观因素影响。现有方法缺乏自主性和智能化，难以保证手术的一致性和精确性。
核心思路：论文的核心思路是利用深度强化学习（DRL）训练一个智能体，使其能够自主控制机器人探针，高效地导航至放射性靶标。同时，引入自适应网格扫描作为辅助手段，为DRL智能体提供初始方向估计，加速学习过程并提高鲁棒性。
技术框架：整体框架包含两个主要阶段：自适应网格扫描阶段和DRL导航阶段。首先，机器人进行自适应网格扫描，粗略估计靶标位置。然后，DRL智能体根据扫描结果和历史经验，控制机器人探针进行精确定位。DRL智能体与环境（放射性场）交互，通过奖励函数学习最优策略。
关键创新：该方法的主要创新在于混合了自适应扫描和深度强化学习。自适应扫描提供初始方向信息，降低了DRL的学习难度，提高了导航效率和鲁棒性。这种混合方法充分利用了两种技术的优势，克服了传统方法的局限性。
关键设计：奖励函数的设计至关重要，鼓励智能体快速接近靶标，同时避免碰撞。网络结构方面，采用了深度神经网络作为DRL智能体的策略网络，输入包括探针的位置、伽马射线水平等信息，输出为机器人的动作指令。具体参数设置和网络结构细节在论文中进行了详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
仿真实验表明，该方法成功率达到95%，显著优于传统技术。在达芬奇研究工具包（dVRK）上的真实评估中，该方法实现了80%的成功率，验证了其在真实手术环境中的可行性。这些结果表明，该方法具有很高的应用价值和潜力。
🎯 应用场景
该研究成果可应用于多种放射引导手术，如前哨淋巴结活检、肿瘤切除等。通过提高手术的精确性和一致性，降低对外科医生的依赖，有望缩短手术时间，减少患者的痛苦，并降低医疗成本。未来，该技术还可扩展到其他机器人辅助医疗领域，例如药物递送、微创手术等。
📄 摘要（原文）
Radioguided surgery, such as sentinel lymph node biopsy, relies on the precise localization of radioactive targets by non-imaging gamma/beta detectors. Manual radioactive target detection based on visual display or audible indication of gamma level is highly dependent on the ability of the surgeon to track and interpret the spatial information. This paper presents a learning-based method to realize the autonomous radiotracer detection in robot-assisted surgeries by navigating the probe to the radioactive target. We proposed novel hybrid approach that combines deep reinforcement learning (DRL) with adaptive robotic scanning. The adaptive grid-based scanning could provide initial direction estimation while the DRL-based agent could efficiently navigate to the target utilising historical data. Simulation experiments demonstrate a 95% success rate, and improved efficiency and robustness compared to conventional techniques. Real-world evaluation on the da Vinci Research Kit (dVRK) further confirms the feasibility of the approach, achieving an 80% success rate in radiotracer detection. This method has the potential to enhance consistency, reduce operator dependency, and improve procedural accuracy in radioguided surgeries.