MARBLE: A Hard Benchmark for Multimodal Spatial Reasoning and Planning

📄 arXiv: 2506.22992v1 📥 PDF

作者: Yulun Jiang, Yekun Chai, Maria Brbić, Michael Moor

分类: cs.AI, cs.CL, cs.CV

发布日期: 2025-06-28

💡 一句话要点

提出MARBLE：一个用于多模态空间推理与规划的硬基准测试。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 空间推理 规划 基准测试 多模态语言模型

📋 核心要点

  1. 现有推理基准测试在多模态复杂推理方面存在不足，无法有效评估模型在复杂环境下的逐步推理能力。
  2. MARBLE基准测试通过M-Portal和M-Cube两个任务，考察模型在空间、视觉和物理约束下进行多步骤规划和推理的能力。
  3. 实验结果表明，现有MLLM在MARBLE上表现不佳，表明复杂推理和感知能力仍是当前模型面临的挑战。

📝 摘要（中文）

多模态信息处理和逐步推理能力是推进人工智能的关键挑战。然而，现有的推理基准测试主要集中在纯文本推理，或者采用可以通过直接从非文本模态检索信息来回答的多模态问题。因此，复杂推理在多模态领域仍然缺乏深入理解。本文提出了MARBLE，一个具有挑战性的多模态推理基准，旨在考察多模态语言模型（MLLM）在复杂多模态问题和环境中逐步推理的能力。MARBLE由两个极具挑战性的任务组成：M-Portal和M-Cube，它们要求在空间、视觉和物理约束下制定和理解多步骤计划。实验表明，当前的MLLM在MARBLE上表现不佳——所有12个先进模型在M-Portal上都获得了接近随机的性能，在M-Cube上的准确率为0%。只有在简化的子任务中，一些模型才能超过随机基线，这表明复杂推理仍然是现有MLLM的挑战。此外，研究表明感知仍然是一个瓶颈，MLLM偶尔无法从视觉输入中提取信息。通过揭示MLLM的局限性，希望MARBLE能够促进下一代模型的开发，使其能够在多个多模态推理步骤中进行推理和规划。

🔬 方法详解

问题定义：现有的大多数多模态推理基准测试要么侧重于文本推理，要么可以通过简单的视觉信息检索来解决多模态问题。这使得它们无法有效评估模型在复杂、需要逐步推理的多模态环境中的能力。因此，论文旨在创建一个更具挑战性的基准，以推动多模态推理能力的提升。

核心思路：MARBLE的核心思路是设计需要多步骤推理和规划的任务，这些任务涉及空间、视觉和物理约束。通过这种方式，可以更全面地评估模型在复杂环境中的推理能力，并揭示其在感知和推理方面的局限性。

技术框架：MARBLE基准测试包含两个主要任务：M-Portal和M-Cube。M-Portal涉及在具有多个传送门的环境中导航，需要模型理解空间关系和传送门机制。M-Cube涉及操作一个魔方，需要模型理解魔方的物理结构和操作规则。每个任务都包含多个步骤，需要模型逐步推理和规划。

关键创新：MARBLE的关键创新在于其任务的复杂性和对多步骤推理的要求。与现有的基准测试相比，MARBLE的任务需要模型进行更深入的推理和规划，才能成功完成。此外，MARBLE还强调了感知的重要性，模型需要准确地从视觉输入中提取信息，才能进行有效的推理。

关键设计：M-Portal任务涉及生成具有不同传送门配置的环境，并要求模型找到从起点到终点的最佳路径。M-Cube任务涉及生成不同的魔方状态，并要求模型找到解决魔方的步骤序列。任务的难度可以通过调整环境的复杂性和魔方的状态来控制。评估指标包括完成任务的准确率和所需的步骤数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的12个先进MLLM在MARBLE上表现不佳，在M-Portal上获得了接近随机的性能，在M-Cube上的准确率为0%。即使在简化的子任务中，也只有少数模型能够超过随机基线。这表明复杂推理和感知能力仍然是当前MLLM面临的重大挑战，MARBLE可以有效揭示这些模型的局限性。

🎯 应用场景

MARBLE基准测试的潜在应用领域包括机器人导航、游戏AI、智能助手等。通过提高模型在复杂多模态环境中的推理和规划能力，可以使这些应用更加智能和高效。例如，机器人可以在复杂的环境中自主导航，游戏AI可以制定更复杂的策略，智能助手可以更好地理解用户的需求并提供相应的帮助。

📄 摘要（原文）

The ability to process information from multiple modalities and to reason through it step-by-step remains a critical challenge in advancing artificial intelligence. However, existing reasoning benchmarks focus on text-only reasoning, or employ multimodal questions that can be answered by directly retrieving information from a non-text modality. Thus, complex reasoning remains poorly understood in multimodal domains. Here, we present MARBLE, a challenging multimodal reasoning benchmark that is designed to scrutinize multimodal language models (MLLMs) in their ability to carefully reason step-by-step through complex multimodal problems and environments. MARBLE is composed of two highly challenging tasks, M-Portal and M-Cube, that require the crafting and understanding of multistep plans under spatial, visual, and physical constraints. We find that current MLLMs perform poorly on MARBLE -- all the 12 advanced models obtain near-random performance on M-Portal and 0% accuracy on M-Cube. Only in simplified subtasks some models outperform the random baseline, indicating that complex reasoning is still a challenge for existing MLLMs. Moreover, we show that perception remains a bottleneck, where MLLMs occasionally fail to extract information from the visual inputs. By shedding a light on the limitations of MLLMs, we hope that MARBLE will spur the development of the next generation of models with the ability to reason and plan across many, multimodal reasoning steps.