Massively Multimodal Foundation Models: A Framework for Capturing Dependencies with Specialized Mixture-of-Experts
作者: Xing Han, Hsing-Huan Chung, Joydeep Ghosh, Paul Pu Liang, Suchi Saria
分类: cs.LG
发布日期: 2025-09-30 (更新: 2026-01-02)
备注: 28 pages, 16 figures, 10 tables
💡 一句话要点
提出基于专家混合模型的大规模多模态框架，利用时序依赖指导路由。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大规模多模态学习 专家混合模型 时序依赖建模 依赖感知路由 医疗健康 活动识别 情感计算
📋 核心要点
- 传统多模态学习难以处理大规模模态数量，忽略了模态间复杂的时序依赖关系。
- 提出依赖感知的专家混合模型，利用模态间的时序依赖关系指导token路由，提升模型性能。
- 在医疗、活动识别和情感计算等任务上验证，性能显著提升，路由模式符合领域知识。
📝 摘要（中文）
现代应用越来越多地涉及数十种异构输入流，例如临床传感器、可穿戴设备、成像和文本，每种输入流都具有不同的测量模型、采样率和噪声特征。这种“大规模多模态”设置，其中每个传感器构成一个单独的模态，与侧重于两到三种模态的传统多模态学习有着根本的不同。随着模态数量的增长，捕获它们复杂的、随时间变化的依赖关系变得至关重要，但也充满挑战。专家混合（MoE）架构自然适合这种设置，其稀疏路由机制能够有效地跨多种模态进行扩展。现有的MoE架构仅基于相似性来路由token，忽略了跨模态的丰富的时序依赖关系。我们提出了一个框架，该框架显式地量化了跨多个时间滞后的模态对之间的时间依赖关系，并使用这些依赖关系来指导MoE路由。一个依赖感知的路由器根据交互类型将token分派给专门的专家。这种有原则的路由使专家能够学习可泛化的依赖处理技能。在医疗保健、活动识别和情感计算基准上的实验表明，性能得到了显著提高，并且可解释的路由模式与领域知识相一致。
🔬 方法详解
问题定义：论文旨在解决大规模多模态数据处理中的挑战，即如何有效地捕获和利用不同模态之间复杂的、随时间变化的依赖关系。现有方法，特别是传统的专家混合模型（MoE），在处理大量模态时，通常只关注模态之间的相似性，而忽略了它们之间丰富的时序依赖关系，导致模型无法充分利用这些信息，限制了性能的提升。
核心思路：论文的核心思路是显式地建模和利用模态之间的时间依赖关系，并将其作为指导MoE路由的关键信息。通过量化模态对在不同时间滞后下的依赖程度，设计一个依赖感知的路由器，将token分派给专门处理特定依赖关系的专家。这种方法使得专家能够学习到更具泛化能力的依赖处理技能，从而提升整体模型的性能。
技术框架：该框架主要包含以下几个模块：1) 时序依赖量化模块：用于计算不同模态对在不同时间滞后下的依赖关系。2) 依赖感知路由器：根据时序依赖量化模块的结果，将token路由到不同的专家。3) 专家模块：每个专家专门处理特定类型的模态依赖关系。4) 混合模块：将不同专家的输出进行混合，得到最终的预测结果。整个流程是，首先对输入的多模态数据进行时序依赖分析，然后利用依赖感知路由器将token分配给相应的专家，专家进行特征提取和处理，最后通过混合模块得到最终的输出。
关键创新：最重要的技术创新点在于提出了依赖感知的路由机制。与传统的基于相似性的路由方法不同，该方法显式地考虑了模态之间的时间依赖关系，并将其作为路由决策的关键依据。这种方法使得模型能够更好地利用模态之间的交互信息，从而提升了模型的性能和可解释性。
关键设计：在时序依赖量化模块中，可以使用互信息、格兰杰因果关系等方法来衡量模态之间的依赖程度。依赖感知路由器的设计需要考虑如何有效地将时序依赖信息转化为路由概率，可以使用注意力机制或者门控机制来实现。专家模块的设计可以根据具体的任务和数据特点进行选择，可以使用Transformer、LSTM等模型。损失函数的设计需要考虑如何鼓励专家学习到不同的依赖处理技能，可以使用对比学习或者正则化方法。
🖼️ 关键图片
📊 实验亮点
论文在医疗保健、活动识别和情感计算等多个基准数据集上进行了实验，结果表明，所提出的依赖感知专家混合模型能够显著提升性能。例如，在医疗保健数据集上，该模型相比于传统MoE模型取得了超过5%的性能提升。此外，实验结果还表明，该模型的路由模式与领域知识相一致，进一步验证了该方法的有效性和可解释性。
🎯 应用场景
该研究成果可广泛应用于涉及大规模多模态数据分析的领域，例如：智能医疗（结合临床数据、影像数据和文本病历进行疾病诊断）、智能穿戴（结合传感器数据和用户行为数据进行健康监测）、人机交互（结合语音、视觉和文本信息进行情感识别和意图理解）等。该方法能够有效提升模型性能和可解释性，为相关应用带来实际价值和深远影响。
📄 摘要（原文）
Modern applications increasingly involve dozens of heterogeneous input streams, such as clinical sensors, wearables, imaging, and text, each with distinct measurement models, sampling rates, and noise characteristics. This \textit{massively multimodal} setting, where each sensor constitutes a separate modality, fundamentally differs from conventional multimodal learning focused on two or three modalities. As modality count grows, capturing their complex, time-varying dependencies becomes essential yet challenging. Mixture-of-Experts (MoE) architectures are naturally suited for this setting, their sparse routing mechanism enables efficient scaling across many modalities. Existing MoE architectures route tokens based on similarity alone, overlooking the rich temporal dependencies across modalities. We propose a framework that explicitly quantifies temporal dependencies between modality pairs across multiple time lags and uses these to guide MoE routing. A dependency-aware router dispatches tokens to specialized experts based on interaction type. This principled routing enables experts to learn generalizable dependency-processing skills. Experiments across healthcare, activity recognition, and affective computing benchmarks demonstrate substantial performance gains and interpretable routing patterns aligned with domain knowledge.