MLLM-CompBench: A Comparative Reasoning Benchmark for Multimodal LLMs

📄 arXiv: 2407.16837v2 📥 PDF

作者: Jihyung Kil, Zheda Mai, Justin Lee, Zihe Wang, Kerrie Cheng, Lemeng Wang, Ye Liu, Arpita Chowdhury, Wei-Lun Chao

分类: cs.CV, cs.AI, cs.CL

发布日期: 2024-07-23 (更新: 2025-01-13)

备注: This paper has been accepted to NeurIPS 2024. The first two authors contributed equally to this work

💡 一句话要点

MLLM-CompBench：用于评估多模态大语言模型比较推理能力的基准测试。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 比较推理 基准测试 视觉理解 人工智能 图像配对 视觉问答

📋 核心要点

  1. 现有AGI系统在比较推理能力方面存在不足，无法有效支持日常决策和问题解决。
  2. MLLM-CompBench通过构建包含4万图像对的基准，并设计视觉导向问题，来评估MLLM的比较能力。
  3. 实验结果表明，包括GPT-4V、Gemini-Pro和LLaVA-1.6在内的先进MLLM在比较能力上仍有显著提升空间。

📝 摘要（中文）

本文提出了MLLM-CompBench，一个旨在评估多模态大语言模型(MLLMs)比较推理能力的基准。比较物体、场景或情况的能力对于日常生活中有效的决策和问题解决至关重要。MLLM-CompBench通过视觉导向的问题挖掘和配对图像，涵盖了相对比较的八个维度：视觉属性、存在性、状态、情感、时间性、空间性、数量和质量。该基准利用来自不同视觉数据集的元数据和CLIP相似度得分，整理了约4万个图像对，涵盖了动物、时尚、运动以及室内外场景等广泛的视觉领域。这些问题经过精心设计，旨在辨别两幅图像之间的相对特征，并由人工标注员进行标注以保证准确性和相关性。使用MLLM-CompBench评估了包括GPT-4V(ision)、Gemini-Pro和LLaVA-1.6在内的最新MLLM，结果表明它们在比较能力方面存在显著不足。MLLM-COMPBENCH不仅揭示了这些局限性，也为未来增强MLLM的比较能力奠定了坚实的基础。

🔬 方法详解

问题定义：论文旨在解决多模态大语言模型(MLLMs)在比较推理能力方面的不足。现有方法缺乏一个专门的基准来系统地评估MLLMs在比较不同物体、场景或情况方面的能力，这阻碍了该领域的发展。现有的视觉任务benchmark通常侧重于识别、分类或描述，而忽略了比较推理这一关键能力。

核心思路：论文的核心思路是构建一个专门用于评估MLLMs比较推理能力的基准测试集MLLM-CompBench。通过设计涵盖多个比较维度（视觉属性、存在性、状态、情感、时间性、空间性、数量和质量）的视觉导向问题，并结合图像对，来考察MLLMs在理解和比较图像内容方面的能力。这种设计旨在模拟人类在日常生活中进行比较判断的场景。

技术框架：MLLM-CompBench的构建流程主要包括以下几个阶段：1) 数据挖掘与配对：利用来自不同视觉数据集的元数据和CLIP相似度得分，自动挖掘并配对图像，构建候选图像对集合。2) 问题生成：针对每个图像对，设计视觉导向的问题，这些问题旨在考察图像对在特定比较维度上的差异。3) 人工标注：由人工标注员对问题进行标注，以确保问题的准确性和相关性，并提供参考答案。4) 基准测试：使用构建好的基准测试集评估现有的MLLMs，并分析其在不同比较维度上的表现。

关键创新：该论文的关键创新在于提出了MLLM-CompBench，这是首个专门用于评估MLLMs比较推理能力的基准测试集。与现有的视觉任务benchmark相比，MLLM-CompBench更侧重于考察模型在理解和比较图像内容方面的能力，而不仅仅是识别或描述。此外，该基准测试集涵盖了多个比较维度，可以更全面地评估MLLMs的比较能力。

关键设计：MLLM-CompBench的关键设计包括：1) 图像对的选择：使用CLIP相似度得分来选择具有一定差异但又相关的图像对，以确保比较的有效性。2) 问题的设计：问题设计遵循视觉导向的原则，即问题的内容主要依赖于图像的视觉信息。3) 比较维度的选择：选择了八个具有代表性的比较维度，以涵盖不同的比较场景。4) 人工标注：通过人工标注来保证基准测试集的质量，并提供参考答案。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，包括GPT-4V、Gemini-Pro和LLaVA-1.6在内的先进MLLM在MLLM-CompBench基准测试集上的表现均未达到理想水平，尤其是在情感、时间性和质量等维度上表现较差。这表明现有MLLM在比较推理能力方面仍有很大的提升空间，MLLM-CompBench可以作为未来研究的重要评估工具。

🎯 应用场景

该研究成果可应用于提升多模态大语言模型在决策支持、智能推荐、视觉搜索等领域的性能。例如，在电商领域，可以帮助模型比较不同商品的优劣，为用户提供更精准的推荐；在智能家居领域，可以帮助模型比较不同场景的状态，实现更智能的控制。未来，该基准测试集可以促进多模态大语言模型在比较推理能力方面的研究和发展。

📄 摘要（原文）

The ability to compare objects, scenes, or situations is crucial for effective decision-making and problem-solving in everyday life. For instance, comparing the freshness of apples enables better choices during grocery shopping while comparing sofa designs helps optimize the aesthetics of our living space. Despite its significance, the comparative capability is largely unexplored in artificial general intelligence (AGI). In this paper, we introduce MLLM-CompBench, a benchmark designed to evaluate the comparative reasoning capability of multimodal large language models (MLLMs). MLLM-CompBench mines and pairs images through visually oriented questions covering eight dimensions of relative comparison: visual attribute, existence, state, emotion, temporality, spatiality, quantity, and quality. We curate a collection of around 40K image pairs using metadata from diverse vision datasets and CLIP similarity scores. These image pairs span a broad array of visual domains, including animals, fashion, sports, and both outdoor and indoor scenes. The questions are carefully crafted to discern relative characteristics between two images and are labeled by human annotators for accuracy and relevance. We use MLLM-CompBench to evaluate recent MLLMs, including GPT-4V(ision), Gemini-Pro, and LLaVA-1.6. Our results reveal notable shortcomings in their comparative abilities. We believe MLLM-COMPBENCH not only sheds light on these limitations but also establishes a solid foundation for future enhancements in the comparative capability of MLLMs.