LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

📄 arXiv: 2508.05602v1 📥 PDF

作者: Tao Sun, Oliver Liu, JinJin Li, Lan Ma

分类: cs.CV

发布日期: 2025-08-07

备注: Published in the First Workshop of Evaluation of Multi-Modal Generation 2025

💡 一句话要点

提出LLaVA-RE，利用多模态大语言模型进行二元图像-文本相关性评估。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 图像-文本相关性 二元分类 LLaVA 多模态学习

📋 核心要点

  1. 现有图像-文本相关性评估方法难以处理文本格式多样性和不同场景下相关性定义差异的问题。
  2. LLaVA-RE利用多模态大语言模型，通过详细的任务指令和多模态上下文学习，灵活评估图像-文本相关性。
  3. 论文构建了新的二元相关性数据集，实验结果表明LLaVA-RE框架在相关性评估任务中表现有效。

📝 摘要（中文）

多模态生成式AI通常涉及根据另一种模态的输入生成图像或文本响应。图像-文本相关性的评估对于衡量响应质量或对候选响应进行排序至关重要。特别是，二元相关性评估，即“相关”与“不相关”，是一个基本问题。然而，考虑到文本具有多种格式，并且相关性的定义在不同场景中有所不同，这是一项具有挑战性的任务。我们发现多模态大语言模型（MLLM）是构建此类评估器的理想选择，因为它们可以灵活地处理复杂的文本格式并接收额外的任务信息。在本文中，我们提出了LLaVA-RE，这是使用MLLM进行二元图像-文本相关性评估的首次尝试。它遵循LLaVA架构，并采用详细的任务指令和多模态上下文示例。此外，我们提出了一个新颖的二元相关性数据集，涵盖各种任务。实验结果验证了我们框架的有效性。

🔬 方法详解

问题定义：论文旨在解决二元图像-文本相关性评估问题，即判断给定的图像和文本是否相关。现有方法在处理复杂文本格式和不同场景下的相关性定义时存在局限性，难以准确评估相关性。

核心思路：论文的核心思路是利用多模态大语言模型（MLLM）的强大能力，使其能够理解图像和文本之间的复杂关系，并根据任务指令和上下文信息进行准确的二元相关性判断。MLLM能够灵活处理各种文本格式，并适应不同场景下的相关性定义。

技术框架：LLaVA-RE框架基于LLaVA架构，主要包括视觉编码器和语言模型两部分。视觉编码器负责提取图像特征，语言模型负责处理文本信息并进行相关性判断。框架通过多模态上下文学习，使模型能够理解任务指令并进行准确的二元分类。

关键创新：论文的关键创新在于将MLLM应用于二元图像-文本相关性评估任务，并提出了详细的任务指令和多模态上下文学习方法。此外，论文还构建了一个新的二元相关性数据集，涵盖各种任务场景，为模型训练和评估提供了数据支持。

关键设计：LLaVA-RE采用了与LLaVA相同的视觉编码器和语言模型结构。关键设计在于任务指令的设计，指令需要清晰地描述相关性的定义和评估标准。此外，多模态上下文学习通过提供相关的图像-文本对示例，帮助模型更好地理解任务要求。损失函数采用标准的二元交叉熵损失函数，优化目标是最小化预测结果与真实标签之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLaVA-RE在二元图像-文本相关性评估任务中表现出色，显著优于传统方法。通过与现有基线模型进行对比，LLaVA-RE在多个数据集上取得了更高的准确率和召回率，验证了其有效性和泛化能力。

🎯 应用场景

LLaVA-RE可应用于多模态信息检索、图像字幕生成、视觉问答等领域，用于评估生成内容的质量和相关性，提升用户体验。该研究对于开发更智能、更可靠的多模态AI系统具有重要价值，并可能推动相关领域的发展。

📄 摘要（原文）

Multimodal generative AI usually involves generating image or text responses given inputs in another modality. The evaluation of image-text relevancy is essential for measuring response quality or ranking candidate responses. In particular, binary relevancy evaluation, i.e., Relevant'' vs.Not Relevant'', is a fundamental problem. However, this is a challenging task considering that texts have diverse formats and the definition of relevancy varies in different scenarios. We find that Multimodal Large Language Models (MLLMs) are an ideal choice to build such evaluators, as they can flexibly handle complex text formats and take in additional task information. In this paper, we present LLaVA-RE, a first attempt for binary image-text relevancy evaluation with MLLM. It follows the LLaVA architecture and adopts detailed task instructions and multimodal in-context samples. In addition, we propose a novel binary relevancy data set that covers various tasks. Experimental results validate the effectiveness of our framework.