Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation
作者: Damiano Marsili, Raphi Kang, Aditya Mehta, Pietro Perona, Georgia Gkioxari
分类: cs.CV
发布日期: 2026-10-01
备注: Project page: https://glab-caltech.github.io/expertlens/
💡 一句话要点
提出ExpertLens以实现多模态专家的高效适应
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 混合专家 多模态学习 领域适应 稀疏计算 模型微调 语义专业化 高效训练
📋 核心要点
- 现有的多模态模型在适应新领域时通常需要全量微调，导致计算资源浪费和效率低下。
- 论文提出ExpertLens，通过解码路由器权重识别领域专业化的专家，从而实现高效的多模态适应。
- 实验结果显示，ExpertLens在多个任务中仅更新部分参数即可达到或超越全量微调的效果，同时显著提升训练速度。
📝 摘要（中文）
混合专家（MoE）架构通过稀疏计算扩展模型容量，使每个token仅通过少量专家进行处理。本研究探讨了这种稀疏性是否会在多模态MoE中产生内在的组织结构。研究发现，尽管专家未经过显式的模块化训练，但它们在不同模态和领域中展现出强烈的语义专业化。基于这一结构，提出了ExpertLens，这是一种无数据的方法，通过解码路由器权重将领域专业化的专家直接从预训练模型权重中识别出来。通过选择性微调与目标领域相关的专家，ExpertLens在数学、医学和遥感任务中实现了与全量微调相匹配或超越的效果，同时仅更新21.7%-47.0%的模型参数，并实现了4.0倍的平均训练速度提升，且在适应性能和训练效率上均优于LoRA。这些结果表明，为效率引入的稀疏性可以产生直接用于高效适应的语义模块化。
🔬 方法详解
问题定义：本论文旨在解决多模态模型在适应新领域时的效率问题。现有方法通常需要对整个模型进行微调，导致计算资源的浪费和训练时间的延长。
核心思路：论文的核心思路是利用稀疏计算的特性，识别出在不同模态和领域中具有语义专业化的专家，从而只对相关专家进行微调，以提高适应效率。
技术框架：整体架构包括预训练的多模态模型、路由器权重解码模块和领域专家选择模块。首先，通过解码路由器权重识别出领域专家，然后选择性地对这些专家进行微调。
关键创新：最重要的技术创新点在于提出了ExpertLens方法，该方法能够在无数据的情况下直接从预训练模型中识别领域专家，与传统的全量微调方法相比，显著提高了适应效率。
关键设计：在参数设置上，ExpertLens仅更新21.7%-47.0%的模型参数，采用特定的损失函数来优化领域专家的微调过程，确保在保持模型性能的同时，提升训练速度。通过这种设计，模型在多个任务中实现了4.0倍的训练速度提升。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ExpertLens在数学、医学和遥感任务中，更新的模型参数仅占21.7%-47.0%，同时实现了4.0倍的训练速度提升。此外，ExpertLens在适应性能上超越了全量微调和LoRA方法，展示了其在效率和效果上的显著优势。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、遥感数据处理和数学问题求解等。通过高效的多模态适应，ExpertLens可以帮助研究人员和工程师在有限的计算资源下快速适应新领域，提升模型的实际应用价值和效率。未来，该方法可能在更多领域中推广应用，推动多模态学习的发展。
📄 摘要（原文）
Mixture-of-Experts (MoE) architectures scale model capacity through sparse computation, routing each token through only a small subset of experts. In this work, we explore whether this sparsity gives rise to emergent intrinsic organization in multimodal MoEs. We find that experts develop strong semantic specialization across modalities and domains despite not being explicitly trained for modularity. Building on this structure, we introduce ExpertLens, a data-free method that identifies domain-specialized experts directly from pretrained model weights by decoding router weights into semantically meaningful vocabulary tokens. We leverage this specialization for efficient multimodal adaptation by selectively fine-tuning experts relevant to a target domain. Across math, medical, and remote sensing tasks, ExpertLens matches or surpasses full fine-tuning while updating only 21.7 - 47.0% of model parameters and achieving a 4.0x average training speedup, and outperforms LoRA in both adaptation performance and training efficiency. These results show that sparsity introduced for efficiency can give rise to semantic modularity that is directly useful for efficient adaptation.