Enhancing Multimodal Retrieval via Complementary Information Extraction and Alignment

📄 arXiv: 2601.04571v1 📥 PDF

作者: Delong Zeng, Yuexiang Xie, Yaliang Li, Ying Shen

分类: cs.AI, cs.MM

发布日期: 2026-01-08

备注: Accepted by ACL'2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出CIEA，通过互补信息提取与对齐增强多模态检索效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 互补信息提取 对比学习 图像文本对齐 跨模态学习

📋 核心要点

  1. 现有方法在多模态检索中侧重于相似信息的提取，忽略了图像等模态中蕴含的互补信息，导致检索效果受限。
  2. CIEA通过互补信息提取器识别并保留图像表示中的差异，并将文本和图像映射到统一的潜在空间，从而有效利用互补信息。
  3. 实验结果表明，CIEA在多模态检索任务上显著优于现有方法，包括分而治之模型和通用密集检索模型。

📝 摘要（中文）

近年来，多模态检索已成为一个有前景但具有挑战性的研究方向。现有研究大多侧重于捕捉多模态数据中与其配对文本相似的信息，而忽略了多模态数据中包含的互补信息。本文提出了一种新的多模态检索方法CIEA，它采用互补信息提取与对齐，将文档中的文本和图像转换到统一的潜在空间，并设计了一个互补信息提取器来识别和保留图像表示中的差异。我们使用两个互补的对比损失来优化CIEA，以确保语义完整性并有效地捕获图像中包含的互补信息。大量实验表明了CIEA的有效性，它在分而治之模型和通用密集检索模型上都取得了显著的改进。我们提供了消融研究、进一步的讨论和案例研究，以突出CIEA取得的进展。为了促进社区的进一步研究，我们已在https://github.com/zengdlong/CIEA发布了源代码。

🔬 方法详解

问题定义：多模态检索旨在根据给定的查询（文本或图像）检索相关的多模态文档。现有方法主要关注学习文本和图像之间的共享语义信息，而忽略了图像中包含的、文本中没有明确表达的互补信息。这种忽略导致检索性能的瓶颈，尤其是在需要理解图像细节或上下文信息的场景下。

核心思路：CIEA的核心思路是显式地提取和利用图像中的互补信息。通过设计一个互补信息提取器，CIEA能够识别并保留图像表示中与文本不同的部分，从而丰富图像的语义表达。同时，CIEA将文本和图像映射到统一的潜在空间，使得模型能够更好地理解它们之间的关系。

技术框架：CIEA的整体框架包括以下几个主要模块：1) 文本编码器：将文本查询或文档转换为文本嵌入；2) 图像编码器：将图像转换为图像嵌入；3) 互补信息提取器：从图像嵌入中提取互补信息；4) 对齐模块：将文本嵌入和图像嵌入（包括互补信息）对齐到统一的潜在空间。整个流程是，首先分别编码文本和图像，然后通过互补信息提取器增强图像表示，最后通过对齐模块学习文本和图像之间的关联。

关键创新：CIEA的关键创新在于互补信息提取器的设计和互补对比损失的引入。互补信息提取器能够有效地识别和保留图像中与文本不同的信息，从而避免了信息冗余和噪声干扰。互补对比损失则用于优化模型的训练，确保模型能够同时学习共享语义信息和互补信息。

关键设计：CIEA使用了两个互补的对比损失函数：一个是传统的对比损失，用于学习文本和图像之间的共享语义信息；另一个是互补对比损失，用于学习图像中的互补信息。互补信息提取器可能采用Transformer结构或者其他注意力机制，具体参数设置未知。图像编码器和文本编码器可以使用预训练模型，例如BERT和ResNet。

📊 实验亮点

CIEA在多模态检索任务上取得了显著的性能提升，超过了现有的分而治之模型和通用密集检索模型。具体的性能数据和提升幅度在论文中进行了详细的展示。消融研究表明，互补信息提取器和互补对比损失对CIEA的性能提升至关重要。案例研究则进一步验证了CIEA能够有效地捕获图像中的互补信息。

🎯 应用场景

CIEA可应用于多种多模态检索场景，例如图像搜索、视频搜索、新闻推荐、电商产品检索等。通过有效利用图像中的互补信息，CIEA能够提高检索的准确性和相关性，为用户提供更好的搜索体验。未来，CIEA还可以扩展到其他多模态任务，例如多模态对话、多模态摘要等。

📄 摘要（原文）

Multimodal retrieval has emerged as a promising yet challenging research direction in recent years. Most existing studies in multimodal retrieval focus on capturing information in multimodal data that is similar to their paired texts, but often ignores the complementary information contained in multimodal data. In this study, we propose CIEA, a novel multimodal retrieval approach that employs Complementary Information Extraction and Alignment, which transforms both text and images in documents into a unified latent space and features a complementary information extractor designed to identify and preserve differences in the image representations. We optimize CIEA using two complementary contrastive losses to ensure semantic integrity and effectively capture the complementary information contained in images. Extensive experiments demonstrate the effectiveness of CIEA, which achieves significant improvements over both divide-and-conquer models and universal dense retrieval models. We provide an ablation study, further discussions, and case studies to highlight the advancements achieved by CIEA. To promote further research in the community, we have released the source code at https://github.com/zengdlong/CIEA.