MoME: Mixture of Visual Language Medical Experts for Medical Imaging Segmentation

📄 arXiv: 2510.26996v1 📥 PDF

作者: Arghavan Rezvani, Xiangyi Yan, Anthony T. Wu, Kun Han, Pooya Khosravi, Xiaohui Xie

分类: cs.CV

发布日期: 2025-10-30

💡 一句话要点

提出MoME：一种用于医学影像分割的视觉语言混合专家模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学影像分割 混合专家模型 视觉语言模型 多模态融合 深度学习 CT扫描

📋 核心要点

  1. 现有医学影像分割方法缺乏对多模态信息的有效利用，限制了模型性能和泛化能力。
  2. MoME通过引入视觉语言混合专家模型，利用多尺度视觉特征和文本嵌入，实现动态专家选择，提升分割精度。
  3. 实验结果表明，MoME在包含3410个CT扫描的10个数据集上表现出强大的性能，验证了其有效性。

📝 摘要（中文）

本研究提出了一种用于医学影像分割的视觉语言混合专家模型MoME。MoME将大型语言模型(LLM)中广泛使用的混合专家(MoE)范式应用于医学视觉语言任务。该架构通过有效利用针对医学影像复杂性定制的多尺度视觉特征，并结合文本嵌入，实现了动态专家选择。这项工作探索了视觉语言模型在该领域中的一种新颖集成。MoME利用包含3410个CT扫描的10个数据集的集合，在全面的医学影像分割基准测试中表现出强大的性能。我们的方法探索了用于医学影像的基础模型的集成，受益于MoE通过结合文本信息来提高模型性能的既定功效。MoME在多个数据集上展示了具有竞争力的精度，探索了一种用于在医学图像分析中实现稳健结果的新颖架构。

🔬 方法详解

问题定义：医学影像分割旨在精确识别和分割医学图像中的特定组织或病灶。现有方法通常依赖于单一模态的图像信息，忽略了与图像相关的文本描述（如诊断报告），限制了模型对复杂医学图像的理解和分割精度。此外，不同数据集的图像特征差异较大，单一模型难以泛化到所有数据集。

核心思路：MoME的核心思路是将视觉信息和文本信息融合，并利用混合专家模型动态选择最适合当前输入数据的专家。通过这种方式，模型可以更好地理解医学图像，并根据不同的数据集特征选择不同的专家，从而提高分割精度和泛化能力。

技术框架：MoME的整体架构包含以下几个主要模块：1) 多尺度视觉特征提取模块，用于提取医学图像的多尺度特征；2) 文本嵌入模块，用于将文本描述转换为向量表示；3) 混合专家模块，包含多个专家网络，每个专家网络擅长处理特定类型的数据；4) 门控网络，用于根据视觉特征和文本嵌入动态选择专家；5) 分割模块，用于根据选择的专家输出分割结果。

关键创新：MoME的关键创新在于将混合专家模型应用于医学影像分割任务，并结合视觉和文本信息进行动态专家选择。与现有方法相比，MoME能够更好地利用多模态信息，并根据不同的数据特征选择不同的专家，从而提高分割精度和泛化能力。

关键设计：MoME的关键设计包括：1) 使用多尺度卷积神经网络提取视觉特征；2) 使用预训练的语言模型（如BERT）进行文本嵌入；3) 使用门控网络根据视觉特征和文本嵌入计算每个专家的权重；4) 使用加权平均的方式将多个专家的输出进行融合，得到最终的分割结果。具体的损失函数和网络结构等技术细节在论文中进行了详细描述。

📊 实验亮点

MoME在包含3410个CT扫描的10个数据集上进行了评估，实验结果表明，MoME在多个数据集上取得了具有竞争力的精度。与现有方法相比，MoME能够更好地利用多模态信息，并根据不同的数据特征选择不同的专家，从而提高了分割精度和泛化能力。具体性能提升数据需要在论文中查找。

🎯 应用场景

MoME可应用于多种医学影像分割任务，例如肿瘤分割、器官分割和病灶分割。该研究成果有助于提高医学影像分析的准确性和效率，辅助医生进行诊断和治疗决策，具有重要的临床应用价值。未来，MoME可以进一步扩展到其他医学影像分析任务，例如疾病诊断和预后预测。

📄 摘要（原文）

In this study, we propose MoME, a Mixture of Visual Language Medical Experts, for Medical Image Segmentation. MoME adapts the successful Mixture of Experts (MoE) paradigm, widely used in Large Language Models (LLMs), for medical vision-language tasks. The architecture enables dynamic expert selection by effectively utilizing multi-scale visual features tailored to the intricacies of medical imagery, enriched with textual embeddings. This work explores a novel integration of vision-language models for this domain. Utilizing an assembly of 10 datasets, encompassing 3,410 CT scans, MoME demonstrates strong performance on a comprehensive medical imaging segmentation benchmark. Our approach explores the integration of foundation models for medical imaging, benefiting from the established efficacy of MoE in boosting model performance by incorporating textual information. Demonstrating competitive precision across multiple datasets, MoME explores a novel architecture for achieving robust results in medical image analysis.