RCI: A Score for Evaluating Global and Local Reasoning in Multimodal Benchmarks

📄 arXiv: 2509.23673v1 📥 PDF

作者: Amit Agarwal, Hitesh Laxmichand Patel, Srikant Panda, Hansa Meghwani, Jyotika Singh, Karan Dua, Paul Li, Tao Sheng, Sujith Ravi, Dan Roth

分类: cs.CV, cs.AI, cs.CL, cs.MM

发布日期: 2025-09-28

备注: Accepted in EMNLP 2025

💡 一句话要点

提出RCI指标，评估多模态基准测试中全局和局部推理的依赖程度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉语言推理 基准测试评估 全局推理 局部推理 数据集偏差 区域理解指数

📋 核心要点

  1. 现有视觉-语言基准测试难以区分模型是依赖全局推理还是局部线索，缺乏有效评估手段。
  2. 提出区域理解指数(RCI)，通过比较模型在图像块和完整图像上的表现，量化数据集对全局/局部信息的依赖。
  3. 实验表明，现有基准测试普遍偏向局部推理，存在空间偏差，RCI可用于诊断和缓解这些问题。

📝 摘要（中文）

多模态大型语言模型(MLLM)在视觉-语言基准测试中取得了显著成果，但这些基准测试是否评估了真正的全局推理，或者仅仅依赖于局部视觉线索，仍然不清楚。现有的评估方法没有明确衡量这种区别，阻碍了有效的数据集管理和以实际应用为中心的模型开发。我们引入了区域理解指数(RCI)，这是第一个基于模型的评分，可以直接量化数据集对全局与局部视觉信息的依赖程度。RCI系统地比较参考模型在图像块与完整图像上的性能，揭示任务是否需要整体图像理解，或者可以通过部分或局部视觉线索解决。将RCI应用于13个广泛使用的多模态基准测试时，我们观察到大多数测试偏向于局部推理，并表现出显著的空间偏差，表明在实际应用中存在潜在风险。RCI为研究人员和从业者提供了一个可操作的工具，用于诊断和减轻这些偏差，从而能够构建数据集和基准，以促进开发稳健的、企业级多模态系统。

🔬 方法详解

问题定义：现有的多模态视觉-语言基准测试，虽然在评估模型性能方面取得了一定进展，但缺乏对模型推理方式的深入理解。具体来说，这些基准测试无法有效区分模型是依赖于全局的图像理解，还是仅仅利用图像中的局部线索来完成任务。这种模糊性使得我们难以判断模型是否真正具备了在实际应用中所需的泛化能力，同时也阻碍了数据集的有效管理和优化。

核心思路：RCI的核心思路是通过比较模型在完整图像和图像局部区域上的表现差异，来推断数据集对全局推理的依赖程度。如果模型在仅使用图像局部区域的情况下就能取得与完整图像相近的性能，那么说明该数据集更偏向于局部推理，反之则更依赖于全局理解。这种方法能够直接量化数据集的特性，从而为数据集的构建和模型的设计提供指导。

技术框架：RCI的整体框架包括以下几个主要步骤：1) 选择一个参考模型（Reference Model），该模型可以是任何现有的多模态模型。2) 将数据集中的每张图像分割成多个图像块（Patches）。3) 使用参考模型分别在完整图像和图像块上进行推理，记录模型的性能指标（例如准确率）。4) 计算RCI得分，RCI得分是基于模型在完整图像和图像块上的性能差异计算得出的，用于量化数据集对全局推理的依赖程度。

关键创新：RCI的关键创新在于它提供了一种直接量化数据集对全局与局部视觉信息依赖程度的方法。与以往的评估方法不同，RCI不是简单地评估模型的性能，而是深入分析了数据集本身的特性。这种方法能够帮助研究人员更好地理解数据集的偏置，从而设计出更加鲁棒和泛化的模型。

关键设计：RCI的关键设计包括：1) 参考模型的选择：选择一个具有代表性的多模态模型作为参考，以确保RCI得分的可靠性。2) 图像块的分割策略：采用合理的图像块分割策略，以保证图像块能够覆盖图像中的关键区域。3) RCI得分的计算方法：设计一种能够有效量化模型在完整图像和图像块上性能差异的RCI得分计算方法。具体来说，RCI的计算公式可以根据不同的任务和数据集进行调整，但其核心思想是衡量模型在局部信息下的表现与全局信息下的表现之间的差距。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在13个广泛使用的多模态基准测试上应用RCI，发现大多数测试偏向局部推理，存在显著空间偏差。这表明现有模型可能在真实场景中表现不佳。RCI为诊断和缓解这些偏差提供了一种有效工具。

🎯 应用场景

RCI可用于评估和改进多模态数据集，促进开发更鲁棒、泛化的视觉-语言模型。它能帮助识别数据集中的空间偏差，指导数据集构建，并为模型设计提供依据，提升模型在实际应用中的可靠性，例如在自动驾驶、医疗诊断等领域。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have achieved impressive results on vision-language benchmarks, yet it remains unclear whether these benchmarks assess genuine global reasoning or allow success via localized visual cues. Existing evaluation methods do not explicitly measure this distinction, hindering effective dataset curation and real-world focused model development. We introduce Region Comprehension Index (RCI), the first model-based score to directly quantify a dataset's reliance on global versus local visual information. RCI systematically compares reference-model performance on image patches versus full images, revealing if tasks require holistic image understanding or can be solved with partial or localized visual cues. When applying RCI to 13 widely used multimodal benchmarks, we observed that most of them favor localized reasoning and exhibit significant spatial biases, indicating potential risks in real-world applications. RCI equips researchers & practitioners with an actionable tool for diagnosing & mitigating these biases, enabling the construction of datasets and benchmarks to foster the development of robust, enterprise-ready multimodal systems.