EasyARC: Evaluating Vision Language Models on True Visual Reasoning

📄 arXiv: 2506.11595v1 📥 PDF

作者: Mert Unsal, Aylin Akkus

分类: cs.CV, cs.LG

发布日期: 2025-06-13

备注: CVPR2025 Workshop on Test-time Scaling for Computer Vision

💡 一句话要点

提出EasyARC以解决多模态视觉推理评估问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉-语言模型 程序生成 自我纠正 基准测试

📋 核心要点

  1. 现有多模态基准测试主要集中在视觉提取与文本推理的结合，缺乏对复杂视觉与语言交互的真实推理评估。
  2. 本文提出EasyARC，一个程序生成的视觉-语言基准，要求多图像、多步骤推理，并具备自我纠正能力。
  3. 通过对最先进的视觉-语言模型进行基准测试，分析其失败模式，EasyARC为真实推理评估设定了新标准。

📝 摘要（中文）

基于近期语言推理模型的进展，本文探讨了整合视觉与文本的多模态推理。现有的多模态基准主要测试视觉提取与文本推理的结合，缺乏更复杂的视觉与语言之间的真实推理。受ARC挑战的启发，我们引入了EasyARC，这是一个需要多图像、多步骤推理和自我纠正的视觉-语言基准。EasyARC是程序生成的，完全可验证且可扩展，适合强化学习（RL）管道。生成器结合了逐步难度级别，使得在任务类型和复杂性上进行结构化评估成为可能。我们对最先进的视觉-语言模型进行了基准测试，并分析了它们的失败模式。我们认为EasyARC为评估真实推理和测试时扩展能力设定了新的标准，并开源了我们的基准数据集和评估代码。

🔬 方法详解

问题定义：本文旨在解决现有多模态基准在真实视觉推理评估方面的不足，现有方法多集中于简单的视觉提取与文本推理的结合，缺乏对复杂交互的考量。

核心思路：EasyARC通过引入多图像和多步骤推理的要求，结合自我纠正机制，提供了一个更具挑战性的评估框架，旨在推动视觉-语言模型的真实推理能力。

技术框架：EasyARC的整体架构包括生成器和评估模块。生成器负责创建多样化的任务场景，评估模块则用于测试模型在这些场景下的表现。生成器设计了逐步增加难度的任务，以便进行结构化评估。

关键创新：EasyARC的主要创新在于其程序生成的特性和自我纠正机制，这与现有方法的静态评估方式形成了鲜明对比。通过动态生成任务，EasyARC能够更全面地评估模型的推理能力。

关键设计：在设计过程中，EasyARC采用了多层次的难度设置，确保模型在不同复杂性任务中的表现得到全面评估。损失函数和网络结构的选择也经过精心设计，以适应多模态输入的特性。

📊 实验亮点

在实验中，EasyARC对多种最先进的视觉-语言模型进行了基准测试，结果显示这些模型在复杂推理任务中的表现存在显著不足。通过引入多步骤推理和自我纠正机制，EasyARC能够有效提升模型的推理能力，为未来的研究提供了新的方向。

🎯 应用场景

EasyARC的研究成果在多个领域具有潜在应用价值，包括智能问答系统、自动图像描述生成以及人机交互等。通过提升视觉-语言模型的推理能力，EasyARC能够推动更智能的多模态应用的发展，未来可能在教育、医疗和娱乐等行业产生深远影响。

📄 摘要（原文）

Building on recent advances in language-based reasoning models, we explore multimodal reasoning that integrates vision and text. Existing multimodal benchmarks primarily test visual extraction combined with text-based reasoning, lacking true visual reasoning with more complex interactions between vision and language. Inspired by the ARC challenge, we introduce EasyARC, a vision-language benchmark requiring multi-image, multi-step reasoning, and self-correction. EasyARC is procedurally generated, fully verifiable, and scalable, making it ideal for reinforcement learning (RL) pipelines. The generators incorporate progressive difficulty levels, enabling structured evaluation across task types and complexities. We benchmark state-of-the-art vision-language models and analyze their failure modes. We argue that EasyARC sets a new standard for evaluating true reasoning and test-time scaling capabilities in vision-language models. We open-source our benchmark dataset and evaluation code.