Robust Semi-supervised Multimodal Medical Image Segmentation via Cross Modality Collaboration
作者: Xiaogen Zhou, Yiyou Sun, Min Deng, Winnie Chiu Wing Chu, Qi Dou
分类: cs.CV, cs.AI, eess.IV
发布日期: 2024-08-14 (更新: 2024-09-04)
💡 一句话要点
提出一种鲁棒的半监督多模态医学图像分割框架，解决数据稀缺和模态错位问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学图像分割 多模态学习 半监督学习 跨模态协作 数据增强 鲁棒性 模态对齐
📋 核心要点
- 现有医学图像分割方法依赖大量标注数据，但在临床中多模态数据标注成本高昂，限制了其应用。
- 论文提出跨模态协作策略，提取模态独立知识并融合，利用通道级语义一致性损失对齐特征，增强鲁棒性。
- 实验表明，该方法在心脏、腹部多器官和甲状腺相关眼眶病变分割任务上表现出色，尤其在数据稀缺和模态错位时。
📝 摘要（中文）
本文提出了一种新颖的半监督多模态分割框架，该框架对标记数据稀缺和模态错位具有鲁棒性。该框架采用了一种跨模态协作策略，以提取与每个模态固有相关的模态独立知识，并将这些信息集成到统一的融合层中以进行特征融合。通过通道级的语义一致性损失，该框架确保了来自不同模态的特征级模态独立信息的对齐，从而增强了其在多模态场景中抵抗错位的能力。此外，该框架有效地集成了对比一致性学习来规范解剖结构，从而促进了半监督分割任务中未标记数据的解剖结构预测对齐。在心脏、腹部多器官和甲状腺相关眼眶病变分割三个任务中，该方法与其他多模态方法相比取得了具有竞争力的性能。它还在标记数据稀缺和模态错位的场景中表现出出色的鲁棒性。
🔬 方法详解
问题定义：现有的多模态医学图像分割方法通常需要大量已标注数据，这在临床环境中难以满足。此外，不同模态图像之间固有的解剖结构错位问题，也给提升分割性能带来了挑战。因此，如何在有限标注数据和模态错位的情况下，实现鲁棒的多模态医学图像分割是本文要解决的问题。
核心思路：本文的核心思路是利用跨模态协作，提取并对齐不同模态图像中共享的、模态独立的知识。通过这种方式，即使在数据稀缺或模态错位的情况下，也能利用不同模态的互补信息，提升分割的准确性和鲁棒性。同时，利用对比一致性学习来规范解剖结构，进一步提升半监督分割的性能。
技术框架：该框架主要包含以下几个模块：1) 特征提取模块：对每个模态的图像进行特征提取；2) 跨模态协作模块：通过某种机制（例如注意力机制）提取模态独立的知识；3) 融合模块：将不同模态的特征进行融合，得到统一的特征表示；4) 分割模块：基于融合后的特征进行分割预测；5) 损失函数模块：包含分割损失、通道级语义一致性损失和对比一致性损失。
关键创新：本文的关键创新在于提出了跨模态协作策略，用于提取和对齐模态独立的知识。与传统的直接融合不同模态特征的方法相比，该方法更加关注不同模态之间的共享信息，从而提高了模型的鲁棒性。此外，通道级语义一致性损失和对比一致性学习的引入，进一步增强了模型在数据稀缺和模态错位情况下的性能。
关键设计：1) 通道级语义一致性损失：用于对齐不同模态的特征表示，确保它们在语义上的一致性。具体实现方式未知，可能使用了某种距离度量或相似性度量。2) 对比一致性学习：用于规范解剖结构，促进未标记数据的解剖结构预测对齐。具体实现方式未知，可能使用了某种对比学习的损失函数。3) 网络结构：具体的网络结构未知，但可以推测使用了卷积神经网络（CNN）或Transformer等常用的图像分割网络。
🖼️ 关键图片
📊 实验亮点
该方法在三个医学图像分割任务（心脏、腹部多器官和甲状腺相关眼眶病变）上取得了具有竞争力的性能，尤其是在数据稀缺和模态错位的情况下，表现出出色的鲁棒性。具体性能数据未知，但摘要中强调了其优于其他多模态方法，表明该方法具有显著的优势。
🎯 应用场景
该研究成果可广泛应用于医学图像分析领域，例如辅助医生进行疾病诊断、手术规划和疗效评估。尤其在临床数据标注成本高昂、多模态数据普遍存在的场景下，该方法具有重要的应用价值。未来，该方法有望推广到其他医学图像分割任务，并与其他半监督学习技术相结合，进一步提升分割性能。
📄 摘要（原文）
Multimodal learning leverages complementary information derived from different modalities, thereby enhancing performance in medical image segmentation. However, prevailing multimodal learning methods heavily rely on extensive well-annotated data from various modalities to achieve accurate segmentation performance. This dependence often poses a challenge in clinical settings due to limited availability of such data. Moreover, the inherent anatomical misalignment between different imaging modalities further complicates the endeavor to enhance segmentation performance. To address this problem, we propose a novel semi-supervised multimodal segmentation framework that is robust to scarce labeled data and misaligned modalities. Our framework employs a novel cross modality collaboration strategy to distill modality-independent knowledge, which is inherently associated with each modality, and integrates this information into a unified fusion layer for feature amalgamation. With a channel-wise semantic consistency loss, our framework ensures alignment of modality-independent information from a feature-wise perspective across modalities, thereby fortifying it against misalignments in multimodal scenarios. Furthermore, our framework effectively integrates contrastive consistent learning to regulate anatomical structures, facilitating anatomical-wise prediction alignment on unlabeled data in semi-supervised segmentation tasks. Our method achieves competitive performance compared to other multimodal methods across three tasks: cardiac, abdominal multi-organ, and thyroid-associated orbitopathy segmentations. It also demonstrates outstanding robustness in scenarios involving scarce labeled data and misaligned modalities.