UniCoRN: Unified Commented Retrieval Network with LMMs

📄 arXiv: 2502.08254v1 📥 PDF

作者: Maximilian Jaritz, Matthieu Guillaumin, Sabine Sternig, Loris Bazzani

分类: cs.CV

发布日期: 2025-02-12

💡 一句话要点

提出UniCoRN，融合多模态检索与大语言模型，解决复杂组合查询问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 大型多模态模型 检索增强生成 视觉问答 评论生成

📋 核心要点

  1. 现有方法难以处理需要复杂视觉推理的组合式多模态检索任务。
  2. UniCoRN通过实体适配器将检索到的多模态实体注入LMM，实现检索与生成一体化。
  3. 实验表明，UniCoRN在多模态检索和评论生成任务上均显著优于现有方法。

📝 摘要（中文）

多模态检索方法在处理复杂的、组合式的查询时存在局限性，这些查询需要对查询和检索实体的视觉内容进行推理。另一方面，大型多模态模型（LMMs）可以用语言回答更复杂的视觉问题，但缺乏检索相关实体以支持其答案的内在能力。为了解决这些局限性，我们提出了UniCoRN，一个统一的评论检索网络，它结合了组合多模态检索方法和生成语言方法的优势，超越了检索增强生成（RAG）。我们引入了一个实体适配器模块，将检索到的多模态实体注入回LMM，以便它可以在生成答案和评论时关注它们。通过保持基础LMM的冻结，UniCoRN保留了其原始能力，同时能够在单个集成框架下执行检索和文本生成任务。为了评估这些新能力，我们引入了评论检索任务（CoR）和一个相应的数据集，目标是检索一个准确回答给定问题的图像，并生成额外的文本响应，提供关于视觉信息的进一步澄清和细节。我们在多个数据集上证明了UniCoRN的有效性，在组合多模态检索方面，相比最先进的方法，召回率提高了+4.5%；在CoR中的评论生成方面，相比RAG，METEOR提高了+14.9%，BEM提高了+18.4%。

🔬 方法详解

问题定义：现有方法在处理需要对查询和检索目标进行复杂视觉推理的多模态检索任务时表现不佳。大型多模态模型虽然具备强大的视觉问答能力，但缺乏检索相关信息以支撑答案的能力。检索增强生成（RAG）方法虽然可以利用检索信息，但检索和生成过程相对独立，无法充分利用检索到的多模态信息。

核心思路：UniCoRN的核心思路是将多模态检索和大型多模态模型的能力结合起来，通过一个统一的框架实现检索和生成任务。具体来说，UniCoRN首先进行多模态检索，然后将检索到的实体信息注入到大型多模态模型中，使模型能够利用这些信息生成更准确、更详细的答案和评论。这样设计的目的是为了充分利用多模态检索的精确性和大型多模态模型的生成能力。

技术框架：UniCoRN的整体架构包含以下几个主要模块：1) 多模态检索模块：负责根据查询检索相关的多模态实体；2) 实体适配器模块：负责将检索到的多模态实体信息转换为LMM可以理解的形式，并注入到LMM中；3) 大型多模态模型（LMM）：负责根据查询和注入的实体信息生成答案和评论。整个流程是：输入查询 -> 多模态检索 -> 实体适配 -> LMM生成 -> 输出答案和评论。

关键创新：UniCoRN的关键创新在于实体适配器模块的设计，它能够有效地将检索到的多模态实体信息注入到大型多模态模型中。这种注入方式使得LMM能够充分利用检索到的信息，从而生成更准确、更详细的答案和评论。此外，UniCoRN通过冻结基础LMM，保留了其原始能力，同时能够执行检索和文本生成任务。

关键设计：实体适配器模块的具体实现细节未知，论文中可能涉及特定的网络结构设计和训练策略，以确保实体信息能够有效地被LMM利用。损失函数的设计可能包括检索损失和生成损失，以优化检索和生成两个任务的性能。参数设置方面，可能需要根据具体的数据集和任务进行调整，以达到最佳效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UniCoRN在多个数据集上取得了显著的性能提升。在组合多模态检索任务中，相比最先进的方法，召回率提高了+4.5%。在评论检索任务（CoR）中，相比RAG，METEOR提高了+14.9%，BEM提高了+18.4%。这些结果表明，UniCoRN能够有效地结合多模态检索和生成能力，从而在各种任务中取得更好的性能。

🎯 应用场景

UniCoRN具有广泛的应用前景，例如智能问答系统、图像描述生成、电商产品搜索等。它可以应用于需要对图像进行复杂推理和描述的场景，例如医疗影像诊断、自动驾驶等。通过结合多模态检索和生成能力，UniCoRN可以提供更准确、更全面的信息服务，具有重要的实际应用价值。

📄 摘要（原文）

Multimodal retrieval methods have limitations in handling complex, compositional queries that require reasoning about the visual content of both the query and the retrieved entities. On the other hand, Large Multimodal Models (LMMs) can answer with language to more complex visual questions, but without the inherent ability to retrieve relevant entities to support their answers. We aim to address these limitations with UniCoRN, a Unified Commented Retrieval Network that combines the strengths of composed multimodal retrieval methods and generative language approaches, going beyond Retrieval-Augmented Generation (RAG). We introduce an entity adapter module to inject the retrieved multimodal entities back into the LMM, so it can attend to them while generating answers and comments. By keeping the base LMM frozen, UniCoRN preserves its original capabilities while being able to perform both retrieval and text generation tasks under a single integrated framework. To assess these new abilities, we introduce the Commented Retrieval task (CoR) and a corresponding dataset, with the goal of retrieving an image that accurately answers a given question and generate an additional textual response that provides further clarification and details about the visual information. We demonstrate the effectiveness of UniCoRN on several datasets showing improvements of +4.5% recall over the state of the art for composed multimodal retrieval and of +14.9% METEOR / +18.4% BEM over RAG for commenting in CoR.