Modality-Agnostic Input Channels Enable Segmentation of Brain lesions in Multimodal MRI with Sequences Unavailable During Training
作者: Anthony P. Addison, Felix Wagner, Wentian Xu, Natalie Voets, Konstantinos Kamnitsas
分类: cs.CV, cs.AI
发布日期: 2025-09-11
备注: Accepted to MICCAI 2025, for the following workshop: ML-CDS 2025: Multimodal Learning and Fusion Across Scales for Clinical Decision Support
🔗 代码/项目: GITHUB
💡 一句话要点
提出模态无关输入通道的U-Net，解决多模态MRI脑部病灶分割中训练时未见模态的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑部MRI分割 多模态学习 模态无关 U-Net 图像增强
📋 核心要点
- 现有脑部MRI分割模型通常依赖固定模态，无法有效处理推理时出现的新模态，限制了其应用范围。
- 该论文提出一种模态无关的U-Net架构，通过引入模态无关输入通道，使其能够处理训练时未见过的模态。
- 实验结果表明，该方法在处理已知模态的同时，还能有效利用新模态，提升了病灶分割的准确性。
📝 摘要（中文）
脑部MRI病灶分割模型是检测和分析脑部病灶的重要工具。根据成像的脑部病理类型，MRI扫描仪可以获取多种不同的图像模态（对比度）。大多数用于多模态脑部MRI的分割模型仅限于固定的模态，无法有效处理推理时的新模态。一些模型可以泛化到未见过的模态，但可能会丢失判别性的模态特定信息。本研究旨在开发一种模型，该模型可以对包含训练期间未见过的图像模态、先前见过的模态以及两者的异构组合的数据进行推理，从而允许用户利用任何可用的成像模态。我们通过对U-Net架构进行简单的修改，即集成模态无关的输入通道或路径以及模态特定的输入通道，证明了这是可能的。为了训练这个模态无关的组件，我们开发了一种图像增强方案，该方案合成了人工MRI模态。增强方案差异性地改变病理和健康脑组织的表观，以在它们之间创建人工对比度，同时保持逼真的解剖完整性。我们使用8个MRI数据库评估该方法，这些数据库包括5种病理类型（中风、肿瘤、创伤性脑损伤、多发性硬化症和白质高信号）和8种模态（T1、T1+对比度、T2、PD、SWI、DWI、ADC和FLAIR）。结果表明，该方法保留了有效处理训练期间遇到的MRI模态的能力，同时能够处理新的、未见过的模态以改进其分割。
🔬 方法详解
问题定义：现有的多模态脑部MRI分割模型通常针对特定模态组合进行训练，当遇到训练时未见过的模态时，性能会显著下降。这限制了模型在实际临床应用中的灵活性，因为不同患者可能接受不同模态的MRI扫描。现有方法难以在保留模态特定信息的同时，泛化到未见过的模态。
核心思路：该论文的核心思路是引入一个模态无关的输入通道，使其能够学习不同模态之间的共性特征，从而实现对未见模态的泛化。同时，保留模态特定的输入通道，以捕捉不同模态的独特信息。通过结合模态无关和模态特定的信息，模型可以在处理已知模态的同时，有效利用未见模态的信息。
技术框架：该方法基于U-Net架构，主要包含两个分支：模态特定分支和模态无关分支。模态特定分支接收标准的MRI模态输入，并提取模态特定的特征。模态无关分支接收经过特殊处理的输入，旨在学习不同模态之间的共性特征。这两个分支的特征在网络的后续层中进行融合，最终用于病灶分割。
关键创新：该方法最重要的创新点在于引入了模态无关的输入通道，并设计了一种图像增强方案来训练该通道。通过合成人工MRI模态，模型可以学习不同模态之间的共性特征，从而实现对未见模态的泛化。这种方法与现有方法的本质区别在于，它不是简单地将所有模态都视为独立的输入，而是试图学习它们之间的共性，从而提高模型的泛化能力。
关键设计：为了训练模态无关的输入通道，论文提出了一种图像增强方案，该方案通过差异性地改变病理和健康脑组织的表观，来创建人工MRI模态。这种增强方案旨在模拟不同模态之间的对比度差异，同时保持逼真的解剖结构。损失函数方面，使用了标准的分割损失函数，例如Dice损失或交叉熵损失。网络结构方面，模态无关分支和模态特定分支可以采用相同的U-Net结构，也可以采用不同的结构，具体取决于实际应用的需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在处理训练期间遇到的MRI模态时，性能与现有方法相当，同时能够有效利用未见过的模态来提高分割精度。在包含多种病理类型和模态的MRI数据集上进行了评估，证明了该方法的泛化能力和鲁棒性。项目代码已开源，方便其他研究者进行复现和改进。
🎯 应用场景
该研究成果可应用于临床脑部MRI图像分析，辅助医生进行病灶检测和诊断。该方法能够处理不同模态组合的MRI图像，提高了临床应用的灵活性。未来，该方法可以扩展到其他医学图像分割任务，例如CT、PET等，具有广阔的应用前景。
📄 摘要（原文）
Segmentation models are important tools for the detection and analysis of lesions in brain MRI. Depending on the type of brain pathology that is imaged, MRI scanners can acquire multiple, different image modalities (contrasts). Most segmentation models for multimodal brain MRI are restricted to fixed modalities and cannot effectively process new ones at inference. Some models generalize to unseen modalities but may lose discriminative modality-specific information. This work aims to develop a model that can perform inference on data that contain image modalities unseen during training, previously seen modalities, and heterogeneous combinations of both, thus allowing a user to utilize any available imaging modalities. We demonstrate this is possible with a simple, thus practical alteration to the U-net architecture, by integrating a modality-agnostic input channel or pathway, alongside modality-specific input channels. To train this modality-agnostic component, we develop an image augmentation scheme that synthesizes artificial MRI modalities. Augmentations differentially alter the appearance of pathological and healthy brain tissue to create artificial contrasts between them while maintaining realistic anatomical integrity. We evaluate the method using 8 MRI databases that include 5 types of pathologies (stroke, tumours, traumatic brain injury, multiple sclerosis and white matter hyperintensities) and 8 modalities (T1, T1+contrast, T2, PD, SWI, DWI, ADC and FLAIR). The results demonstrate that the approach preserves the ability to effectively process MRI modalities encountered during training, while being able to process new, unseen modalities to improve its segmentation. Project code: https://github.com/Anthony-P-Addison/AGN-MOD-SEG