MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models

📄 arXiv: 2609.08663v1 📥 PDF

作者: Xuanming Cui, Shlok Kumar Mishra, Wentao Bao, Aashu Singh, Zihao Wang, Xiangjun Fan, Jun Xiao, Ser-Nam Lim, Jianpeng Cheng

分类: cs.LG, cs.AI

发布日期: 2026-09-08

💡 一句话要点

提出MoEMB以高效扩展通用多模态嵌入模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态嵌入 专家混合模型 自适应计算 高效扩展 对比学习

📋 核心要点

  1. 现有的多模态嵌入模型在扩展时面临参数增加与训练批量大小之间的权衡，且检索延迟要求严格。
  2. 本文提出MoEMB，通过专家混合模型（MoE）扩展通用多模态嵌入，提升编码器能力而不增加计算负担。
  3. MoEMB在MMEB-V2和MRMR任务上设立了新标杆，使用3B活跃参数超越了4B活跃参数的TTE方法，计算效率显著提升。

📝 摘要（中文）

通用多模态嵌入（UME）对编码器的能力提出了更高的要求，以处理复杂的任务和多样的模态。现有的扩展方法往往增加了表示大小、检索成本或将编码器扩展为重型多模态大语言模型。本文提出了MoEMB，通过专家混合模型（MoE）沿专家轴扩展UME，提升编码器能力，同时保持单向量、非自回归编码。经过系统的设计空间和训练策略研究，MoEMB在公共MMEB-family数据上，在MMEB-V2和MRMR任务中设立了新的性能标杆，使用仅3B活跃参数超越了活跃参数超过4B的TTE方法，计算效率显著提高。此外，本文首次全面研究了基于MoE的嵌入的自适应计算，支持专家扩展作为UME的有效方向。

🔬 方法详解

问题定义：本文旨在解决通用多模态嵌入（UME）模型在扩展时面临的参数增加与训练批量大小之间的权衡问题。现有方法往往导致计算冗余和检索延迟，难以满足多样化的任务需求。

核心思路：论文提出的MoEMB通过专家混合模型（MoE）沿专家轴扩展UME，旨在提升编码器的能力，同时保持单向量、非自回归的编码方式。这种设计使得模型在处理多模态任务时更加高效。

技术框架：MoEMB的整体架构包括多个专家模块，每个模块负责特定的任务或模态。模型在训练过程中动态选择活跃的专家，从而减少计算负担。训练和推理阶段均采用自适应计算策略，以提高效率。

关键创新：MoEMB的主要创新在于通过专家混合模型实现了有效的扩展，显著减少了计算资源的消耗。与现有方法相比，MoEMB在参数数量上实现了更高的效率，且在性能上超越了传统的TTE方法。

关键设计：在模型设计中，关键参数设置包括专家数量、激活机制等。损失函数采用对比学习策略，以优化多模态嵌入的质量。此外，网络结构设计上，MoEMB采用了非自回归的编码方式，确保了高效的推理速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MoEMB在MMEB-V2和MRMR任务上设立了新的性能标杆，使用仅3B活跃参数超越了活跃参数超过4B的TTE方法，计算效率显著提高，展示了专家混合模型在多模态嵌入中的有效性。

🎯 应用场景

该研究的潜在应用领域包括大规模检索和推荐系统，尤其是在需要处理多模态数据的场景中。MoEMB的高效性和可扩展性使其在实际应用中具有重要价值，能够支持更复杂的任务和更高的用户需求。未来，随着多模态技术的发展，MoEMB有望在更多领域得到广泛应用。

📄 摘要（原文）

Universal multimodal embedding (UME) increasingly demands encoder's capacity for handling a broad range of tasks and modalities with increased complexity. Prior scaling methods either increase the representation size, retrieval effort, or scales the encoder into a heavy multimodal LLM. Recent works, such as Think-Then-Embed (TTE), explore scaling via reasoning tokens. However, embedding models are hard to scale up: increasing parameters directly tradeoffs for the large training batch size that contrastive learning needs, and retrieval has to be served under tight latency. Moreover, UME tasks are diverse in complexity, where scaling up embedders can bring significant redundant computation. In this work, we propose MOEMB, which instead scales UME along the expert axis through mixture-of-experts (MoE), growing encoder capacity while preserving single-vector, non-autoregressive encoding. Through a systematic study of the design space and training recipes for MoE-based UME, MoEMB sets a new state of the art on both MMEB-V2 and MRMR among models trained on public MMEB-family data: with only 3B active parameters, MoEMB surpasses TTE-based methods with >4x active parameters, using significantly less computes. To further improve the scalability and efficiency, we conduct the first comprehensive study of adaptive computation for MoE-based embedding, spanning diverse strategies across training-based and inference-only methods. Together, these results support expert scaling as an effective and efficient direction for UME, with adaptive computation further improving efficiency for MLLM-based embedding models towards large-scale retrieval and recommendation systems.