F3-Net: Foundation Model for Full Abnormality Segmentation of Medical Images with Flexible Input Modality Requirement

📄 arXiv: 2507.08460v1 📥 PDF

作者: Seyedeh Sahar Taheri Otaghsara, Reza Rahmanzadeh

分类: cs.CV

发布日期: 2025-07-11

💡 一句话要点

F3-Net：用于医学图像全异常分割的、支持灵活模态输入的Foundation模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像分割 Foundation模型 多模态学习 异常检测 脑部病变 零图像策略 自监督学习

📋 核心要点

  1. 现有医学图像分割方法依赖完整多模态输入，泛化性差，且任务针对性强，限制了临床应用。
  2. F3-Net通过灵活的合成模态训练和零图像策略，无需显式模态合成即可处理缺失模态，提升模型鲁棒性。
  3. F3-Net在多种脑部病变分割任务上表现出色，无需针对特定疾病微调，并在多个数据集上验证了其泛化能力。

📝 摘要（中文）

F3-Net是一个Foundation模型，旨在克服临床医学图像分割中长期存在的挑战，包括依赖完整的多模态输入、泛化能力有限和任务特异性窄。通过灵活的合成模态训练，即使在缺少MRI序列的情况下，F3-Net也能保持强大的性能，利用零图像策略来替代缺失的模态，而无需显式的合成网络，从而增强了实际应用性。其统一的架构支持胶质瘤、转移瘤、卒中和白质病变的多病理分割，无需重新训练，优于通常需要针对特定疾病进行微调的基于CNN和Transformer的模型。在BraTS 2021、BraTS 2024和ISLES 2022等多样化数据集上的评估表明，F3-Net对领域偏移和临床异质性具有很强的适应性。在整个病理数据集上，F3-Net在BraTS-GLI 2024上实现了0.94的平均Dice相似系数（DSC），在BraTS-MET 2024上实现了0.82，在BraTS 2021上实现了0.94，在ISLES 2022上实现了0.79。这使其成为一种通用的、可扩展的解决方案，弥合了深度学习研究和实际临床部署之间的差距。

🔬 方法详解

问题定义：医学图像分割任务面临的挑战包括对完整多模态数据的依赖、有限的泛化能力以及对特定任务的过度依赖。现有方法在处理缺失模态数据时性能显著下降，且难以在不同病理类型之间泛化，需要针对每种病理进行单独训练和微调。

核心思路：F3-Net的核心思路是构建一个能够处理不完整多模态输入并具备强大泛化能力的Foundation模型。通过灵活的合成模态训练，模型能够学习到不同模态之间的关系，并利用零图像策略来替代缺失的模态，从而在无需显式模态合成的情况下保持良好的分割性能。

技术框架：F3-Net采用统一的架构，可以处理多种病理分割任务。其主要流程包括：1) 输入医学图像数据，支持不同模态的组合；2) 使用零图像策略处理缺失模态；3) 通过预训练的Foundation模型进行特征提取和分割；4) 输出分割结果。该架构避免了针对特定病理的微调，提高了模型的通用性和可扩展性。

关键创新：F3-Net的关键创新在于其灵活的合成模态训练和零图像策略。传统的模态合成方法需要额外的网络来生成缺失的模态，而F3-Net通过直接使用零图像作为缺失模态的替代，简化了流程并提高了效率。此外，F3-Net的统一架构使其能够处理多种病理分割任务，而无需针对每种病理进行单独训练。

关键设计：F3-Net的关键设计包括：1) 灵活的合成模态训练策略，通过随机mask掉部分模态进行训练，使模型能够适应不完整的输入；2) 零图像策略，使用全零图像替代缺失模态，避免了显式模态合成的复杂性；3) 统一的分割头，可以处理多种病理分割任务，无需针对特定病理进行修改；4) 损失函数的设计，可能包括Dice损失、交叉熵损失等，以优化分割性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

F3-Net在多个公开数据集上取得了优异的分割性能。在BraTS-GLI 2024数据集上，F3-Net的平均Dice相似系数（DSC）达到了0.94；在BraTS-MET 2024数据集上，DSC为0.82；在BraTS 2021数据集上，DSC为0.94；在ISLES 2022数据集上，DSC为0.79。这些结果表明，F3-Net在处理不同病理和数据集时都具有很强的鲁棒性和泛化能力。

🎯 应用场景

F3-Net在临床医学图像分析领域具有广泛的应用前景，可用于脑肿瘤、转移瘤、卒中和白质病变等多种疾病的辅助诊断和治疗规划。该模型能够处理不完整的多模态数据，降低了对数据完整性的要求，提高了临床实用性。未来，F3-Net有望应用于更广泛的医学图像分割任务，并与其他AI技术相结合，为临床决策提供更全面的支持。

📄 摘要（原文）

F3-Net is a foundation model designed to overcome persistent challenges in clinical medical image segmentation, including reliance on complete multimodal inputs, limited generalizability, and narrow task specificity. Through flexible synthetic modality training, F3-Net maintains robust performance even in the presence of missing MRI sequences, leveraging a zero-image strategy to substitute absent modalities without relying on explicit synthesis networks, thereby enhancing real-world applicability. Its unified architecture supports multi-pathology segmentation across glioma, metastasis, stroke, and white matter lesions without retraining, outperforming CNN-based and transformer-based models that typically require disease-specific fine-tuning. Evaluated on diverse datasets such as BraTS 2021, BraTS 2024, and ISLES 2022, F3-Net demonstrates strong resilience to domain shifts and clinical heterogeneity. On the whole pathology dataset, F3-Net achieves average Dice Similarity Coefficients (DSCs) of 0.94 for BraTS-GLI 2024, 0.82 for BraTS-MET 2024, 0.94 for BraTS 2021, and 0.79 for ISLES 2022. This positions it as a versatile, scalable solution bridging the gap between deep learning research and practical clinical deployment.