How Good are Foundation Models in Step-by-Step Embodied Reasoning?

📄 arXiv: 2509.15293v2 📥 PDF

作者: Dinura Dissanayake, Ahmed Heakl, Omkar Thawakar, Noor Ahsan, Ritesh Thawkar, Ketan More, Jean Lahoud, Rao Anwer, Hisham Cholakkal, Ivan Laptev, Fahad Shahbaz Khan, Salman Khan

分类: cs.CV, cs.RO

发布日期: 2025-09-18 (更新: 2025-09-22)

备注: Project page: https://mbzuai-oryx.github.io/FoMER-Bench/

💡 一句话要点

提出FoMER基准，评估具身环境中基础模型逐步推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能 多模态模型 推理能力 机器人 基准测试

📋 核心要点

  1. 现有LMMs在具身任务中缺乏结构化推理能力，难以保证决策的有效性、安全性和空间连贯性。
  2. 提出FoMER基准，包含多样化的具身推理任务，旨在评估和提升LMMs在复杂环境中的推理能力。
  3. 通过实验分析，揭示了现有LMMs在具身推理方面的潜力和局限性，为未来研究指明方向。

📝 摘要（中文）

具身智能体在物理世界中操作时，必须做出有效、安全、空间连贯且基于上下文的决策。尽管最近大型多模态模型(LMMs)在视觉理解和语言生成方面表现出令人鼓舞的能力，但它们在现实世界具身任务中执行结构化推理的能力仍未得到充分探索。本文旨在了解基础模型在具身环境中执行逐步推理的能力。为此，我们提出了基础模型具身推理(FoMER)基准，旨在评估LMMs在复杂具身决策场景中的推理能力。我们的基准涵盖了一系列不同的任务，这些任务要求智能体解释多模态观察，推理物理约束和安全性，并以自然语言生成有效的下一步动作。我们提出了(i)一个大规模、精心策划的具身推理任务套件，(ii)一个新颖的评估框架，将感知基础与动作推理分离，以及(iii)在这种设置下对几种领先LMMs的实证分析。我们的基准包括超过1.1k个样本，涵盖10个任务和8个具身，覆盖三种不同的机器人类型，具有详细的逐步推理。我们的结果突出了LMMs在具身推理中的潜力和当前局限性，指出了机器人智能未来研究的关键挑战和机遇。我们的数据和代码将公开提供。

🔬 方法详解

问题定义：论文旨在解决大型多模态模型（LMMs）在具身环境中进行逐步推理能力不足的问题。现有方法难以保证智能体在物理世界中决策的有效性、安全性和空间连贯性，缺乏针对具身推理的系统性评估和改进。

核心思路：论文的核心思路是构建一个全面的具身推理基准（FoMER），用于评估LMMs在理解多模态输入、推理物理约束和生成合理动作方面的能力。通过细粒度的评估，可以更好地理解LMMs的优势和不足，从而指导模型改进。

技术框架：FoMER基准包含以下几个关键组成部分：(1) 大规模的具身推理任务集，涵盖多种任务类型和机器人类型；(2) 详细的逐步推理标注，用于评估模型每一步决策的合理性；(3) 一个评估框架，将感知基础与动作推理分离，以便更精确地评估模型的推理能力。整体流程是，LMM接收环境的多模态输入，生成下一步动作的自然语言描述，然后通过评估框架判断动作的合理性。

关键创新：该论文的关键创新在于提出了FoMER基准，这是一个专门为评估LMMs在具身环境中推理能力而设计的基准。与现有基准相比，FoMER更加关注逐步推理过程，并提供了更细粒度的评估指标。此外，FoMER还包含多种任务类型和机器人类型，更全面地反映了真实世界具身任务的复杂性。

关键设计：FoMER基准包含10个任务和8个具身，覆盖三种不同的机器人类型。每个任务都包含详细的逐步推理标注，包括环境状态、智能体的观察和下一步动作的自然语言描述。评估框架采用多种指标来评估模型的推理能力，包括动作的合理性、安全性和空间连贯性。具体参数设置和损失函数等技术细节未在摘要中提及，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了FoMER基准，包含超过1.1k个样本，涵盖10个任务和8个具身，覆盖三种不同的机器人类型。实验结果揭示了现有LMMs在具身推理方面的潜力和局限性，为未来的研究方向提供了重要参考。具体的性能数据和对比基线未在摘要中提及，属于未知信息。

🎯 应用场景

该研究成果可应用于机器人导航、家庭服务机器人、自动驾驶等领域。通过提升LMMs在具身环境中的推理能力，可以使机器人更好地理解人类指令，安全有效地完成各种任务，从而提高机器人的智能化水平和服务能力。

📄 摘要（原文）

Embodied agents operating in the physical world must make decisions that are not only effective but also safe, spatially coherent, and grounded in context. While recent advances in large multimodal models (LMMs) have shown promising capabilities in visual understanding and language generation, their ability to perform structured reasoning for real-world embodied tasks remains underexplored. In this work, we aim to understand how well foundation models can perform step-by-step reasoning in embodied environments. To this end, we propose the Foundation Model Embodied Reasoning (FoMER) benchmark, designed to evaluate the reasoning capabilities of LMMs in complex embodied decision-making scenarios. Our benchmark spans a diverse set of tasks that require agents to interpret multimodal observations, reason about physical constraints and safety, and generate valid next actions in natural language. We present (i) a large-scale, curated suite of embodied reasoning tasks, (ii) a novel evaluation framework that disentangles perceptual grounding from action reasoning, and (iii) empirical analysis of several leading LMMs under this setting. Our benchmark includes over 1.1k samples with detailed step-by-step reasoning across 10 tasks and 8 embodiments, covering three different robot types. Our results highlight both the potential and current limitations of LMMs in embodied reasoning, pointing towards key challenges and opportunities for future research in robot intelligence. Our data and code will be made publicly available.