LSTM-Based Modeling and Reinforcement Learning Control of a Magnetically Actuated Catheter

📄 arXiv: 2512.21063v1 📥 PDF

作者: Arya Rashidinejad Meibodi, Mahbod Gholamali Sinaki, Khalil Alipour

分类: eess.SY

发布日期: 2025-12-24

备注: Presented at the 13th RSI International Conference on Robotics and Mechatronics (ICRoM 2025), Dec. 16-18, 2025, Tehran, Iran

💡 一句话要点

提出基于LSTM建模和强化学习控制的磁驱动导管自主导航方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 磁驱动导管 LSTM网络 强化学习 DQN Actor-Critic 自主导航 微创手术

📋 核心要点

  1. 现有磁驱动导管系统面临非线性、迟滞等复杂动力学建模难题，限制了其自主控制性能。
  2. 利用LSTM网络学习磁驱动导管的复杂动力学模型，为强化学习控制提供精确的仿真环境。
  3. Actor-Critic强化学习控制器在路径跟踪任务中优于DQN，验证了该方法在复杂血管导航中的潜力。

📝 摘要（中文）

本研究提出了一种新型磁驱动导管系统建模与控制方法，旨在实现微创介入的自主化。该方法首先利用长短期记忆（LSTM）神经网络对磁驱动导管系统的非线性及迟滞动态特性进行建模。该系统由外部永磁体产生的伺服控制磁场驱动磁性导管。实验数据验证表明，该LSTM模型的均方根误差（RMSE）为0.42毫米，且99.8%的预测值在3毫米范围内，证明了其作为可靠代理模型的有效性。该LSTM模型使得强化学习（RL）智能体能够在虚拟环境中进行训练，从而避免对真实系统造成损害，并为后续在物理系统上的微调奠定基础。研究实现了深度Q网络（DQN）和Actor-Critic两种RL控制器，并对它们在导管尖端的位置调节以及沿直线和半正弦路径的路径跟踪任务中的性能进行了比较。结果表明，Actor-Critic控制器优于DQN，在调节和路径跟踪方面均表现出更高的精度、更快的速度和更平滑的轨迹。Actor-Critic控制器基于连续动作空间，更适合动态导航任务，例如在弯曲的血管结构中导航，具有实际应用潜力。

🔬 方法详解

问题定义：磁驱动导管系统在微创手术中具有重要应用前景，但其非线性、迟滞的动态特性使得精确建模和控制变得困难。传统的控制方法难以应对这些复杂性，而直接在真实系统上进行强化学习训练存在损坏设备的风险。因此，需要一种能够准确建模系统动态特性，并安全有效地训练控制策略的方法。

核心思路：本研究的核心思路是首先使用LSTM神经网络学习磁驱动导管系统的动态模型，然后利用该模型作为强化学习的仿真环境，训练控制策略。LSTM网络能够捕捉系统的时间依赖性和非线性特性，而强化学习则能够学习到最优的控制策略，从而实现导管的自主导航。

技术框架：该方法的技术框架主要包括两个阶段：建模阶段和控制阶段。在建模阶段，利用实验数据训练LSTM网络，使其能够准确预测导管的运动状态。在控制阶段，将训练好的LSTM模型作为强化学习环境，分别训练DQN和Actor-Critic两种强化学习智能体。然后，比较两种智能体在位置调节和路径跟踪任务中的性能。

关键创新：该研究的关键创新在于将LSTM网络与强化学习相结合，用于磁驱动导管系统的建模和控制。LSTM网络能够准确捕捉系统的复杂动态特性，为强化学习提供可靠的仿真环境。此外，研究还比较了DQN和Actor-Critic两种强化学习算法在导管控制中的性能，发现Actor-Critic算法更适合于连续动作空间的控制任务。

关键设计：LSTM网络的结构包括输入层、LSTM层和输出层。输入层接收磁场控制信号和导管的当前状态，LSTM层用于学习系统的动态特性，输出层预测导管的下一个状态。强化学习算法使用基于LSTM模型的仿真环境进行训练。DQN算法使用ε-greedy策略进行探索，Actor-Critic算法使用高斯噪声进行探索。奖励函数的设计考虑了导管与目标位置之间的距离，以及控制动作的平滑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LSTM模型能够准确预测磁驱动导管的运动状态，均方根误差（RMSE）为0.42毫米，且99.8%的预测值在3毫米范围内。在路径跟踪任务中，Actor-Critic控制器优于DQN，能够实现更精确、更平滑的轨迹跟踪。Actor-Critic控制器在10Hz采样率下，能够实现对直线和半正弦路径的有效跟踪，验证了其在动态导航任务中的潜力。

🎯 应用场景

该研究成果可应用于微创手术中磁驱动导管的自主导航。通过精确建模和强化学习控制，导管能够安全、高效地到达目标位置，减少医生操作负担，提高手术精度和效率。未来，该技术有望应用于血管介入、神经外科等领域，实现更精准、更微创的治疗。

📄 摘要（原文）

Autonomous magnetic catheter systems are emerging as a promising approach for the future of minimally invasive interventions. This study presents a novel approach that begins by modeling the nonlinear and hysteretic dynamics of a magnetically actuated catheter system, consists of a magnetic catheter manipulated by servo-controlled magnetic fields generated by two external permanent magnets, and its complex behavior is captured using a Long Short-Term Memory (LSTM) neural network. This model validated against experimental setup's data with a root mean square error (RMSE) of 0.42 mm and 99.8% coverage within 3 mm, establishing it as a reliable surrogate model. This LSTM enables the training of Reinforcement Learning (RL) agents for controlling the system and avoiding damage to the real setup, with the potential for subsequent fine-tuning on the physical system. We implemented Deep Q-Network (DQN) and actor-critic RL controllers, comparing these two agents first for regulation and subsequently for path following along linear and half-sinusoidal paths for the catheter tip. The actor-critic outperforms DQN, offering greater accuracy and faster performance with less error, along with smoother trajectories at a 10 Hz sampling rate, in both regulation and path following compared to the DQN controller. This performance, due to the continuous action space, suits dynamic navigation tasks like navigating curved vascular structures for practical applications.