Scale-specific auxiliary multi-task contrastive learning for deep liver vessel segmentation

📄 arXiv: 2409.12333v1 📥 PDF

作者: Amine Sadikine, Bogdan Badic, Jean-Pierre Tasu, Vincent Noblet, Pascal Ballet, Dimitris Visvikis, Pierre-Henri Conze

分类: eess.IV, cs.AI, cs.CV, cs.LG

发布日期: 2024-09-18

备注: 5 pages, 5 figures, conference

期刊: 2023 IEEE 20th International Symposium on Biomedical Imaging (ISBI), Cartagena, Colombia, 2023, pp. 1-5

DOI: 10.1109/ISBI53787.2023.10230364

💡 一句话要点

提出尺度特异性辅助多任务对比学习方法，用于深度肝脏血管分割

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 肝脏血管分割 多尺度学习 多任务学习 对比学习 3D UNet 医学图像分析

📋 核心要点

  1. 现有肝脏血管分割方法难以保持血管复杂的多尺度几何结构，尤其是在细小分支上。
  2. 论文提出一种新的深度监督方法，通过尺度特定的辅助任务和对比学习，提升血管分割效果。
  3. 在3D-IRCADb数据集上的实验结果表明，该方法在多个评估指标上表现出良好的性能。

📝 摘要（中文）

从腹部图像中提取肝脏血管对于临床医生具有重要意义，因为它允许将肝脏划分为功能独立的Couinaud节段。因此，自动化的肝脏血管提取被广泛应用。尽管语义分割方法的性能显著提高，但保持主要血管和分支的复杂多尺度几何结构仍然是一个主要挑战。本文提出了一种新的深度监督血管分割方法，重点关注血管树几何结构中不同尺度产生的表示。特别地，我们提出了一种新的聚类技术，将血管树分解为从微小血管到大型血管的各种尺度级别。然后，我们通过结合尺度特定的辅助任务和对比学习，将标准3D UNet扩展到多任务学习，以鼓励共享表示中不同尺度之间的区分。在公开的3D-IRCADb数据集上，通过多个评估指标显示了有希望的结果。

🔬 方法详解

问题定义：论文旨在解决肝脏血管分割中，现有方法难以有效捕捉和保持血管多尺度几何结构的问题，尤其是在细小血管分支的分割上。现有方法通常难以区分不同尺度的血管，导致分割精度下降。

核心思路：论文的核心思路是将血管树分解为不同的尺度级别，并利用多任务学习和对比学习，鼓励网络学习到尺度特异性的特征表示。通过这种方式，网络能够更好地区分不同尺度的血管，从而提高分割精度。

技术框架：整体框架基于3D UNet，并扩展为多任务学习。首先，使用一种新的聚类技术将血管树分解为不同的尺度级别。然后，将这些尺度级别作为辅助任务，与主要的血管分割任务一起进行训练。此外，还引入了对比学习，以鼓励共享表示中不同尺度之间的区分。

关键创新：最重要的技术创新点在于尺度特异性的辅助任务和对比学习的结合。通过将血管树分解为不同的尺度级别，并将其作为辅助任务，网络能够学习到更丰富的尺度信息。对比学习则进一步增强了网络区分不同尺度的能力。这与现有方法仅关注单一尺度的特征表示形成了本质区别。

关键设计：论文提出了一种新的聚类技术来分解血管树，具体细节未知。损失函数包括主要分割任务的损失、辅助任务的损失以及对比学习的损失。对比学习的具体实现方式未知，但推测是最小化相同尺度血管特征之间的距离，最大化不同尺度血管特征之间的距离。网络结构方面，3D UNet是主干网络，辅助任务分支的具体结构未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在公开的3D-IRCADb数据集上进行了实验，结果表明该方法在多个评估指标上都取得了有希望的结果。具体的性能数据和对比基线未知，但摘要中强调了该方法在区分不同尺度血管方面的优势，暗示了在细小血管分割上的提升。

🎯 应用场景

该研究成果可应用于计算机辅助诊断、手术规划和介入治疗等领域。通过精确分割肝脏血管，医生可以更好地了解肝脏的解剖结构，从而提高诊断的准确性和手术的安全性。此外，该技术还可以用于评估肝脏疾病的进展情况，并为个性化治疗方案的制定提供依据。未来，该技术有望集成到临床工作流程中，提高医疗效率和患者预后。

📄 摘要（原文）

Extracting hepatic vessels from abdominal images is of high interest for clinicians since it allows to divide the liver into functionally-independent Couinaud segments. In this respect, an automated liver blood vessel extraction is widely summoned. Despite the significant growth in performance of semantic segmentation methodologies, preserving the complex multi-scale geometry of main vessels and ramifications remains a major challenge. This paper provides a new deep supervised approach for vessel segmentation, with a strong focus on representations arising from the different scales inherent to the vascular tree geometry. In particular, we propose a new clustering technique to decompose the tree into various scale levels, from tiny to large vessels. Then, we extend standard 3D UNet to multi-task learning by incorporating scale-specific auxiliary tasks and contrastive learning to encourage the discrimination between scales in the shared representation. Promising results, depicted in several evaluation metrics, are revealed on the public 3D-IRCADb dataset.