Beyond Perception: Evaluating Abstract Visual Reasoning through Multi-Stage Task

📄 arXiv: 2505.21850v2 📥 PDF

作者: Yanbei Jiang, Yihao Ding, Chao Lei, Jiayang Ao, Jey Han Lau, Krista A. Ehinger

分类: cs.CV, cs.AI

发布日期: 2025-05-28 (更新: 2025-05-30)

备注: Accepted at ACL Findings

💡 一句话要点

提出MultiStAR基准以解决抽象视觉推理评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抽象视觉推理 多阶段推理 多模态大型语言模型 评估指标 机器学习

📋 核心要点

  1. 现有的抽象视觉推理基准主要集中在单步推理，忽视了推理过程的多阶段特性，导致评估不全面。
  2. 本文提出MultiStAR基准，旨在通过多阶段推理评估抽象视觉推理能力，并引入MSEval指标以考虑中间步骤的正确性。
  3. 实验结果表明，现有MLLMs在基本感知任务上表现良好，但在复杂规则检测阶段仍存在显著挑战。

📝 摘要（中文）

当前的多模态大型语言模型（MLLMs）在一般视觉推理方面表现出色，但在抽象视觉推理（AVR）领域仍未得到充分探索。现有的AVR基准主要集中在单步推理上，强调最终结果而忽视推理过程的多阶段特性。为了解决这一问题，本文提出了MultiStAR，一个基于RAVEN的多阶段AVR基准，旨在评估不同复杂度下的推理能力。此外，现有的评估指标如准确率仅关注最终结果，而未考虑中间步骤的正确性。因此，我们提出了一种新颖的评估指标MSEval，综合考虑中间步骤的正确性及最终结果。通过对17个代表性的闭源和开源MLLMs进行全面实验，结果显示，尽管现有MLLMs在基本感知任务上表现良好，但在更复杂的规则检测阶段仍面临挑战。

🔬 方法详解

问题定义：本文旨在解决现有抽象视觉推理基准在评估多阶段推理能力时的不足，尤其是对中间推理步骤的忽视。

核心思路：提出MultiStAR基准，通过多阶段推理评估模型的抽象视觉推理能力，并引入MSEval指标来综合考虑中间步骤的正确性。

技术框架：MultiStAR基准基于RAVEN设计，包含多个推理阶段，每个阶段评估模型对抽象规则的理解和应用能力。评估流程包括输入图像、推理步骤和最终结果的综合评估。

关键创新：最重要的创新在于引入了MSEval指标，该指标不仅关注最终结果，还考虑了推理过程中的中间步骤，提供了更全面的评估视角。

关键设计：在实验中，采用了17个不同的MLLMs进行评估，设置了多种复杂度的任务，并对中间步骤的正确性进行了详细分析，以确保评估的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，现有的MLLMs在基本感知任务上表现良好，但在复杂规则检测阶段的准确率显著下降，尤其是在多阶段推理中，表现出明显的不足。这一发现为未来的模型改进提供了重要的方向。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、人工智能教育和智能机器人等。通过改进抽象视觉推理的评估方法，可以提升机器学习模型在复杂推理任务中的表现，推动相关技术的实际应用和发展。

📄 摘要（原文）

Current Multimodal Large Language Models (MLLMs) excel in general visual reasoning but remain underexplored in Abstract Visual Reasoning (AVR), which demands higher-order reasoning to identify abstract rules beyond simple perception. Existing AVR benchmarks focus on single-step reasoning, emphasizing the end result but neglecting the multi-stage nature of reasoning process. Past studies found MLLMs struggle with these benchmarks, but it doesn't explain how they fail. To address this gap, we introduce MultiStAR, a Multi-Stage AVR benchmark, based on RAVEN, designed to assess reasoning across varying levels of complexity. Additionally, existing metrics like accuracy only focus on the final outcomes while do not account for the correctness of intermediate steps. Therefore, we propose a novel metric, MSEval, which considers the correctness of intermediate steps in addition to the final outcomes. We conduct comprehensive experiments on MultiStAR using 17 representative close-source and open-source MLLMs. The results reveal that while existing MLLMs perform adequately on basic perception tasks, they continue to face challenges in more complex rule detection stages.