Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
作者: Mohammed Irfan Kurpath, Jaseel Muhammad Kaithakkodan, Sahal Shaji Mullappilly, Ivan Laptev, Hisham Cholakkal
分类: cs.CV
发布日期: 2026-10-01
备注: Findings of EMNLP 2026. 26 pages, 8 figures, 14 tables. Project page: https://omniembed.cvmbzuai.com
💡 一句话要点
提出Omni-Embed-Mini以解决多模态嵌入模型参数冗余问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多模态嵌入 文本检索 蒸馏训练 对比学习 模型压缩 跨模态对齐 深度学习
📋 核心要点
- 现有的多模态嵌入模型通常需要数十亿参数，导致模型庞大且难以部署，同时扩展新模态时会降低文本检索质量。
- 论文提出的Omni-Embed-Mini模型通过共享主干网络权重，利用密集级联标题进行对齐，从而实现了多模态的有效嵌入。
- 实验结果表明，Omni-Embed-Mini在文本检索任务中表现优异，且模型参数显著减少，性能与更大模型相当。
📝 摘要（中文）
扩展文本嵌入模型至新模态通常会降低文本检索质量，而现有的全模态嵌入模型则需要数十亿参数来弥补这一缺陷。我们提出了Omni-Embed-Mini，一个仅有9亿参数的模型，能够将文本、语音、音频、图像、视频和视觉丰富的文档映射到一个共享的余弦空间中，而无需更新任何文本侧参数。我们的关键见解是教师信号无需单独的嵌入模型：每个媒体样本都与密集的级联标题配对，教师目标仅为冻结主干网络对该标题的嵌入。由于教师和学生共享相同的主干权重，它们在字节上是相同的几何体，轻量级投影器加上分阶段的LoRA适配器足以实现对齐。训练结合了Matryoshka SigLIP对比损失和在线混合硬负样本挖掘器，随着编码器的改进，负样本会变得更加尖锐。
🔬 方法详解
问题定义：论文要解决的具体问题是如何在不增加文本侧参数的情况下，扩展文本嵌入模型至多种模态，同时保持文本检索质量。现有方法通常需要庞大的参数量，导致模型复杂且难以应用。
核心思路：论文的核心解决思路是利用共享的主干网络权重和密集级联标题，避免了对教师信号的单独嵌入模型需求，从而实现了不同模态之间的有效对齐。
技术框架：整体架构包括一个共享的主干网络、轻量级投影器和分阶段的LoRA适配器。训练过程中结合了Matryoshka SigLIP对比损失和在线混合硬负样本挖掘器，以提高模型的对比学习效果。
关键创新：最重要的技术创新点在于通过共享主干权重实现了教师和学生模型的几何一致性，避免了传统方法中对教师模型的依赖，从而显著减少了模型参数。
关键设计：在关键设计上，使用了0.9B参数的Omni-Embed-Mini模型，保持文本权重与主干网络一致，训练过程中采用了特定的对比损失函数和负样本挖掘策略，以确保模型在多模态任务中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Omni-Embed-Mini在MTEB-v2 BEIR-8数据集上的nDCG@10达到了49.57，且在扩展至五种额外模态时，模型参数仅为其他开放全模态嵌入模型的2.7至9.5倍，表现出色。2.3B变体在整体模态平均上超越了闭源的gemini-embedding-2。
🎯 应用场景
该研究的潜在应用领域包括多模态信息检索、跨媒体内容分析以及智能助手等。通过有效整合不同模态的信息，Omni-Embed-Mini能够提升多模态系统的性能，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Extending a text embedding model to new modalities typically degrades text retrieval quality, and existing omni-modal embedders compensate with multi-billion parameters. We present Omni-Embed-Mini, a 0.9B-parameter model that maps text, speech, audio, images, video, and visually-rich documents into a single shared cosine space without updating any text-side parameter. Our key insight is that the teacher signal requires no separate embedding model: each media sample is paired with a dense cascaded caption, and the teacher target is simply the frozen backbone's own embedding of that caption. Because teacher and student share the same backbone weights, they inhabit byte-identical geometry, and lightweight projectors plus phased LoRA adapters on the modality encoders suffice for alignment. Training combines a Matryoshka SigLIP contrastive loss with an online hybrid hard-negative miner whose negatives sharpen as the encoder improves. The recipe carries over to a 2.3B variant by swapping in a native vision-language backbone. Omni-Embed-Mini-0.9B keeps its text weights bit-identical to the backbone, so training cannot regress text retrieval (49.57 nDCG@10 on MTEB-v2 BEIR-8), while extending it to five additional modalities, and is ~2.7x to 9.5x smaller than every open omni embedder we compare against. The 2.3B variant is competitive with the closed gemini-embedding-2, edging ahead of it on the overall-modality average. Models, code, data and evaluation harness are on our project page: https://omniembed.cvmbzuai.com