Generalist-Specialist Mixture-of-Experts for Rare Pathology Detection in Multimodal Imaging

📄 arXiv: 2609.18688v1 📥 PDF

作者: Johannes Kaiser, Florian Braunmiller, Daniel Rückert, Georgios Kaissis

分类: cs.CV, cs.AI

发布日期: 2026-09-16

💡 一句话要点

提出通用-专用混合专家模型以解决稀有病理检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态医学影像 稀有病理检测 混合专家模型 通用-专用模型 特征融合 深度学习

📋 核心要点

  1. 现有的混合专家模型在处理多模态医学影像时，难以平衡模态特异性与跨模态共享表示，导致稀有病理检测效果不佳。
  2. 本文提出的GS-MoE模型通过结合通用模型与模态特定专家，利用领域约束特征融合来优化多模态学习。
  3. 在RadImageNet数据集上，GS-MoE在六种低流行病理的检测中取得显著提升，F1得分提升至+0.60，同时减少了推理时的活跃参数数量。

📝 摘要（中文）

多模态医学影像的AI模型必须在特定模态的专业化与跨模态共享表示之间取得平衡，而现有的纯混合专家(MoE)架构未能满足这一需求。专家路由虽然能改善领域内学习，但可能牺牲跨模态信号，这在稀有病理检测中尤为重要。为此，本文提出了通用-专用混合专家模型(GS-MoE)，该模型通过领域约束特征融合，将跨模态通用模型与特定模态专家相结合。在RadImageNet数据集上，GS-MoE成功检测出六种低流行病理，且在每个基线模型F1得分为0的情况下，提升幅度可达+0.60 F1，同时在推理时使用的活跃参数比最强的密集模型减少约53%。

🔬 方法详解

问题定义：本文旨在解决现有混合专家模型在多模态医学影像中对稀有病理检测的不足，尤其是模态特异性与跨模态信号的平衡问题。现有方法在处理低流行病理时表现不佳，导致检测效果低下。

核心思路：GS-MoE模型的核心思路是将一个跨模态的通用模型与多个模态特定的专家模型相结合，通过领域约束特征融合来增强信息共享，从而提高稀有病理的检测能力。

技术框架：GS-MoE采用双分支架构，一方面是通用模型，另一方面是多个模态特定的专家。通过特征融合模块，模型能够在不同模态之间共享信息，同时保持各自模态的专业化能力。

关键创新：GS-MoE的主要创新在于其双分支结构和领域约束特征融合机制，这使得模型能够有效整合跨模态信息，同时不牺牲模态特异性，与传统的单一专家模型形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数以优化跨模态学习效果，并通过参数共享机制减少推理时的活跃参数数量，确保模型在保持高效性的同时，能够实现更好的检测性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

GS-MoE在RadImageNet数据集上成功检测出六种低流行病理，F1得分提升至+0.60，且在所有基线模型中，F1得分为0的情况下实现了显著的性能提升。此外，GS-MoE在推理时的活跃参数数量比最强的密集模型减少了约53%。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、稀有病理检测和智能诊断系统。GS-MoE模型的设计可以为临床实践提供更为精准的辅助诊断工具，尤其是在处理低流行病理时，提升医生的决策支持能力，未来可能对医疗影像分析领域产生深远影响。

📄 摘要（原文）

AI models for multimodal medical imaging must balance modality-specific specialization with cross-modal shared representations, a trade-off that pure Mixture-of-Experts (MoE) architectures currently fail to satisfy. Expert-based routing improves in-domain learning but may sacrifice cross-modal signals, which appear particularly important for rare (low-prevalence) pathologies in our experiments. To resolve this, we introduce Generalist-Specialist-MoE (GS-MoE), a two-branch (MoE) architecture that couples a cross-modal generalist model with distinct modality-specific specialists (experts) via domain-constrained feature fusion. On RadImageNet (1.35M images, 165 pathologies, three modalities), GS-MoE recovers detection of six low-prevalence pathologies on which every baseline scores F1 $=$ 0, with per-class gains up to +0.60 F1. It attains this while even slightly exceeding dense and specialist-only MoE aggregate baselines (MCC 0.770), while using ${\sim}53\%$ fewer active parameters at inference than the strongest investigated dense model.