Exploiting Mixture-of-Experts Redundancy Unlocks Multimodal Generative Abilities
作者: Raman Dutt, Harleen Hanspal, Guoxuan Xia, Petru-Daniel Tudosiu, Alexander Black, Yongxin Yang, Steven McDonagh, Sarah Parisot
分类: cs.CL, cs.AI, cs.CV
发布日期: 2025-03-28 (更新: 2025-04-01)
💡 一句话要点
利用MoE冗余容量，实现参数高效的多模态生成能力扩展
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 混合专家模型 参数高效 低秩自适应 Gromov-Wasserstein距离
📋 核心要点
- 现有方法通过增加专用模块扩展LLM多模态能力，导致参数量显著增加，影响模型效率和可扩展性。
- 论文利用MoE中未充分利用的参数冗余作为学习新模态的额外容量，并采用低秩自适应保持原始语言生成能力。
- 论文提出基于Gromov-Wasserstein距离的参数初始化方案，提升收敛性和训练稳定性，并发现模态特定路径的出现。
📝 摘要（中文）
本文致力于为预训练的纯文本大型语言模型(LLM)增加多模态生成能力，同时满足两个核心约束：C1，在性能上，原始语言生成能力几乎不受影响；C2，在参数量上，学习新模态的参数预算要小，以确保可扩展性和效率。与当前通过添加专用模块来显著增加参数数量的方法不同，我们提出了一种利用深度模型中固有未充分利用的容量的方法。具体来说，我们利用混合专家(MoE)中的参数冗余作为学习新模态的额外容量来源，从而提高参数效率(C1)。此外，我们通过仅对新模态的tokens应用低秩自适应来保留原始语言生成能力(C2)。此外，我们引入了一种基于Gromov-Wasserstein距离的新型参数初始化方案，以提高收敛性和训练稳定性。通过对路由机制的广泛分析，我们发现了模态特定路径的出现以及专家内部冗余的减少，从而可以有效地释放多模态生成能力。总的来说，我们的方法可以无缝地应用于各种现代LLM，为从单模态到多模态架构的过渡提供了一条新途径。
🔬 方法详解
问题定义：现有方法在扩展大型语言模型的多模态生成能力时，通常采用增加专用模块的方式，这导致模型参数量显著增加，计算成本上升，并且可能影响原始语言生成能力。因此，如何在不显著增加参数量的前提下，为LLM增加多模态生成能力是一个关键问题。
核心思路：论文的核心思路是利用现有MoE模型中存在的参数冗余。MoE模型通常包含多个专家网络，这些专家网络并非总是被充分利用，存在一定的冗余容量。论文通过将新模态的学习任务分配给这些冗余容量，从而避免了引入额外的参数。同时，为了保持原始语言生成能力，论文采用低秩自适应方法，仅对新模态的tokens进行参数调整。
技术框架：整体框架是在现有的MoE结构的LLM基础上进行改进。主要包含以下几个阶段：1) 参数初始化：使用基于Gromov-Wasserstein距离的初始化方法，将新模态的参数初始化到MoE的专家网络中。2) 低秩自适应：仅对新模态的tokens应用低秩自适应，调整MoE中专家网络的参数。3) 路由机制分析：分析MoE的路由机制，观察模态特定路径的出现和专家内部冗余的减少。
关键创新：论文的关键创新在于利用了MoE模型中固有的参数冗余，避免了引入额外的参数，从而实现了参数高效的多模态生成能力扩展。与现有方法相比，该方法在不显著增加参数量的前提下，实现了多模态生成能力，并且保持了原始语言生成能力。
关键设计：论文的关键设计包括：1) 基于Gromov-Wasserstein距离的参数初始化：该方法能够更好地将新模态的参数映射到MoE的专家网络中，提高收敛速度和训练稳定性。2) 低秩自适应：通过仅对新模态的tokens进行参数调整，避免了对原始语言生成能力的干扰。3) 路由机制分析：通过分析MoE的路由机制，验证了模态特定路径的出现和专家内部冗余的减少，从而证明了该方法的有效性。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了该方法的有效性，结果表明，该方法能够在不显著增加参数量的前提下，为LLM增加多模态生成能力，并且保持了原始语言生成能力。此外，实验还发现，通过该方法，MoE模型中出现了模态特定路径，并且专家内部的冗余减少，这表明该方法能够有效地利用MoE的容量。
🎯 应用场景
该研究成果可广泛应用于各种需要多模态信息处理的场景，例如图像描述生成、视频内容理解、多模态对话系统等。通过将该方法应用于现有的LLM，可以快速且高效地扩展其多模态能力，从而提升用户体验和应用价值。未来，该方法还可以进一步扩展到更多的模态，例如音频、3D模型等，从而构建更加强大的多模态人工智能系统。
📄 摘要（原文）
In this work, we undertake the challenge of augmenting the existing generative capabilities of pre-trained text-only large language models (LLMs) with multi-modal generation capability while satisfying two core constraints: C1 preserving the preservation of original language generative capabilities with negligible performance degradation, and C2 adhering to a small parameter budget to learn the new modality, ensuring scalability and efficiency. In contrast to current approaches that add dedicated modules, thereby significantly increasing the parameter count, we propose a method that leverages the underutilized capacity inherent in deep models. Specifically, we exploit the parameter redundancy within Mixture-of-Experts (MoEs) as a source of additional capacity for learning a new modality, enabling better parameter efficiency (C1). Moreover, we preserve the original language generation capabilities by applying low-rank adaptation exclusively to the tokens of the new modality (C2). Furthermore, we introduce a novel parameter initialization scheme based on the Gromov-Wasserstein distance to improve convergence and training stability. Through an extensive analysis of the routing mechanism, we uncover the emergence of modality-specific pathways and decreased redundancy within the experts that can efficiently unlock multi-modal generative capabilities. Overall, our method can be seamlessly applied to a wide range of contemporary LLMs, providing a new pathway for transitioning from uni-modal to multi-modal architectures.