MMMORRF: Multimodal Multilingual Modularized Reciprocal Rank Fusion

📄 arXiv: 2503.20698v4 📥 PDF

作者: Saron Samuel, Dan DeGenaro, Jimena Guallar-Blasco, Kate Sanders, Oluwaseun Eisape, Tanner Spendlove, Arun Reddy, Alexander Martin, Andrew Yates, Eugene Yang, Cameron Carpenter, David Etter, Efsun Kayi, Matthew Wiesner, Kenton Murray, Reno Kriz

分类: cs.CV, cs.IR

发布日期: 2025-03-26 (更新: 2025-05-09)

💡 一句话要点

提出MMMORRF，通过模态感知的加权倒数排序融合，提升多模态视频检索效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态视频检索 倒数排序融合 模态感知 音频特征 视觉特征 文本信息 信息融合

📋 核心要点

  1. 现有方法过度依赖视觉信息，忽略了视频中其他模态（如音频、文本）的重要性，导致检索效果不佳。
  2. MMMORRF通过提取视觉和音频模态的文本和特征，并采用模态感知的加权倒数排序融合，有效整合多模态信息。
  3. 实验表明，MMMORRF在多模态视频检索任务上显著优于现有方法，nDCG@20指标提升高达81%。

📝 摘要（中文）

视频天然包含多种模态信息，包括视觉事件、文本叠加、声音和语音，这些对于检索至关重要。然而，像VAST和LanguageBind这样的先进多模态语言模型建立在视觉-语言模型（VLMs）之上，因此过度优先考虑视觉信号。检索基准进一步强化了这种偏见，侧重于视觉查询而忽略了其他模态。我们创建了一个搜索系统MMMORRF，它从视觉和音频模态中提取文本和特征，并将其与一种新颖的模态感知加权倒数排序融合相结合。MMMORRF既有效又高效，展示了基于用户的信息需求而非视觉描述性查询来搜索视频的实用性。我们在MultiVENT 2.0和TVR这两个为更有针对性的信息需求而设计的多模态基准上评估了MMMORRF，发现它比领先的多模态编码器提高了81%的nDCG@20，比单模态检索提高了37%，证明了整合不同模态的价值。

🔬 方法详解

问题定义：现有视频检索方法，特别是基于视觉-语言模型的方法，过度依赖视觉信息，忽略了音频、文本等其他模态的重要性。现有的检索benchmark也侧重于视觉查询，进一步加剧了这种偏见。这导致无法有效满足用户基于多模态信息需求的视频检索。

核心思路：MMMORRF的核心思路是充分利用视频中包含的多种模态信息（视觉、音频、文本），并设计一种模态感知的融合方法，使得不同模态的信息能够互补，从而提升检索效果。通过对不同模态的信息进行加权融合，可以更好地满足用户的信息需求。

技术框架：MMMORRF的整体框架包括以下几个主要模块：1) 多模态特征提取：从视频的视觉和音频模态中提取特征和文本信息。2) 模态感知加权：根据不同模态的重要性，为每个模态分配权重。3) 倒数排序融合（RRF）：使用倒数排序融合算法，将不同模态的检索结果进行融合。4) 检索结果排序：根据融合后的得分，对视频进行排序，返回最终的检索结果。

关键创新：MMMORRF的关键创新在于提出了模态感知的加权倒数排序融合方法。这种方法能够根据不同模态的重要性，动态地调整其在融合过程中的权重，从而更好地利用多模态信息。与传统的倒数排序融合方法相比，MMMORRF能够更好地适应不同类型的查询，并提供更准确的检索结果。

关键设计：MMMORRF的关键设计包括：1) 使用预训练的视觉和音频模型提取特征。2) 使用文本识别模型提取视频中的文本信息。3) 通过实验确定不同模态的权重。4) 使用倒数排序融合算法，将不同模态的检索结果进行融合。具体的权重设置和融合参数需要根据具体的任务和数据集进行调整。

🖼️ 关键图片

fig_0

📊 实验亮点

MMMORRF在MultiVENT 2.0和TVR两个多模态基准测试中表现出色。相较于领先的多模态编码器，nDCG@20指标提升了81%。与单模态检索相比，nDCG@20指标提升了37%。这些结果表明，MMMORRF能够有效整合多模态信息，显著提升视频检索的准确性。

🎯 应用场景

MMMORRF可应用于各种视频检索场景，例如视频内容搜索、视频推荐、视频监控等。该方法能够有效提升用户基于多模态信息需求的检索体验，并为视频内容理解和分析提供更强大的工具。未来，该技术可进一步扩展到其他多媒体领域，例如音频检索、图像检索等。

📄 摘要（原文）

Videos inherently contain multiple modalities, including visual events, text overlays, sounds, and speech, all of which are important for retrieval. However, state-of-the-art multimodal language models like VAST and LanguageBind are built on vision-language models (VLMs), and thus overly prioritize visual signals. Retrieval benchmarks further reinforce this bias by focusing on visual queries and neglecting other modalities. We create a search system MMMORRF that extracts text and features from both visual and audio modalities and integrates them with a novel modality-aware weighted reciprocal rank fusion. MMMORRF is both effective and efficient, demonstrating practicality in searching videos based on users' information needs instead of visual descriptive queries. We evaluate MMMORRF on MultiVENT 2.0 and TVR, two multimodal benchmarks designed for more targeted information needs, and find that it improves nDCG@20 by 81% over leading multimodal encoders and 37% over single-modality retrieval, demonstrating the value of integrating diverse modalities.