Goal-conditioned reinforcement learning for ultrasound navigation guidance

📄 arXiv: 2405.01409v3 📥 PDF

作者: Abdoul Aziz Amadou, Vivek Singh, Florin C. Ghesu, Young-Ho Kim, Laura Stanciulescu, Harshitha P. Sai, Puneet Sharma, Alistair Young, Ronak Rajani, Kawal Rhode

分类: cs.CV, cs.AI

发布日期: 2024-05-02 (更新: 2024-08-01)

备注: Accepted in MICCAI 2024; 11 pages, 3 figures

💡 一句话要点

提出基于对比学习的目标条件强化学习方法，用于超声导航引导。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 超声导航 目标条件强化学习 对比学习 经食道超声心动图 医学影像 患者批处理 数据增强

📋 核心要点

  1. 经食道超声成像技术复杂，新手医生需要大量训练才能熟练掌握，效率较低且扫描结果存在差异。
  2. 提出一种基于对比学习的目标条件强化学习方法，通过学习不同患者的解剖结构变异性，实现更精确的超声导航。
  3. 实验结果表明，该方法在导航到标准诊断视图和介入视图时均表现出色，位置误差和角度误差均较低。

📝 摘要（中文）

经食道超声心动图(TEE)在心脏病诊断和介入治疗中起着关键作用。然而，由于图像采集和解释的复杂性，有效使用它需要大量的培训。为了提高新手超声医师的效率并减少扫描采集的变异性，我们提出了一种基于对比学习的目标条件强化学习(GCRL)的新型超声(US)导航辅助方法。我们使用一种新颖的对比患者批处理方法(CPB)和数据增强的对比损失来增强先前的框架，我们证明这两者对于确保推广到患者之间的解剖变异至关重要。所提出的框架能够使用单个模型导航到标准诊断视图以及复杂的介入视图。我们的方法使用包含789名患者的大型数据集进行开发，并在包含140名患者的测试数据集上获得了6.56毫米的位置平均误差和9.36度的角度平均误差，这与在单个视图上训练的模型相比具有竞争力或更优越。此外，我们定量验证了我们的方法导航到介入视图（如用于LAA闭合的左心耳(LAA)视图）的能力。我们的方法有望在经食道超声检查期间提供有价值的指导，从而有助于提高心脏超声从业人员的技能。

🔬 方法详解

问题定义：经食道超声心动图(TEE)在心脏疾病诊断和介入治疗中至关重要，但其图像采集和解读复杂，需要大量训练。现有方法难以泛化到不同患者的解剖结构变异性，导致导航精度下降，新手医生学习曲线陡峭。

核心思路：利用目标条件强化学习(GCRL)框架，将超声导航问题建模为智能体与环境的交互过程，通过学习策略来达到特定的目标视图。核心在于引入对比学习，学习不同患者之间的解剖结构相似性和差异性，从而提高模型的泛化能力。

技术框架：整体框架基于强化学习，智能体通过执行动作（例如，探头移动）与超声环境交互，获得状态（超声图像）和奖励。目标条件强化学习将目标视图作为条件输入，引导智能体学习到达目标视图的策略。关键模块包括：状态表示模块（提取超声图像特征）、动作选择模块（根据状态和目标选择动作）、奖励函数（评估当前状态与目标状态的相似度）。

关键创新：主要创新在于引入了对比学习，具体包括：1) 对比患者批处理(CPB)：将来自不同患者的数据组织成批次，鼓励模型学习患者间的解剖结构差异。2) 数据增强的对比损失：通过数据增强技术（例如，图像旋转、缩放）生成更多对比样本，增强模型的鲁棒性。

关键设计：对比患者批处理(CPB)的设计是关键，确保每个批次包含来自不同患者的数据，从而迫使模型学习区分患者间的解剖结构差异。数据增强的对比损失函数，通过最大化正样本对之间的相似性，最小化负样本对之间的相似性，来学习更具判别性的特征表示。奖励函数的设计也至关重要，需要准确反映当前视图与目标视图的相似程度，引导智能体朝着目标前进。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在包含789名患者的大型数据集上进行了训练，并在包含140名患者的测试数据集上进行了评估。实验结果表明，该方法在位置误差和角度误差方面均优于或与在单个视图上训练的模型具有竞争力，位置平均误差为6.56毫米，角度平均误差为9.36度。此外，该方法还成功导航到左心耳(LAA)视图，验证了其在介入治疗中的应用潜力。

🎯 应用场景

该研究成果可应用于经食道超声心动图导航辅助系统，帮助新手医生更快地掌握超声扫描技术，减少操作误差，提高诊断准确性。此外，该方法还可扩展到其他医学影像导航领域，例如腹部超声、介入手术导航等，具有广阔的应用前景。

📄 摘要（原文）

Transesophageal echocardiography (TEE) plays a pivotal role in cardiology for diagnostic and interventional procedures. However, using it effectively requires extensive training due to the intricate nature of image acquisition and interpretation. To enhance the efficiency of novice sonographers and reduce variability in scan acquisitions, we propose a novel ultrasound (US) navigation assistance method based on contrastive learning as goal-conditioned reinforcement learning (GCRL). We augment the previous framework using a novel contrastive patient batching method (CPB) and a data-augmented contrastive loss, both of which we demonstrate are essential to ensure generalization to anatomical variations across patients. The proposed framework enables navigation to both standard diagnostic as well as intricate interventional views with a single model. Our method was developed with a large dataset of 789 patients and obtained an average error of 6.56 mm in position and 9.36 degrees in angle on a testing dataset of 140 patients, which is competitive or superior to models trained on individual views. Furthermore, we quantitatively validate our method's ability to navigate to interventional views such as the Left Atrial Appendage (LAA) view used in LAA closure. Our approach holds promise in providing valuable guidance during transesophageal ultrasound examinations, contributing to the advancement of skill acquisition for cardiac ultrasound practitioners.