Plan-Bench: Can Existing VLMs Go Well Beyond Perception to Reason and Plan in Embodied Worlds?

📄 arXiv: 2610.18836v1 📥 PDF

作者: Juntong Feng, Qingan Liu, Jingru Dong, Yue Zhu, Weiming Zheng, Yujie Cheng, Xinzhe Han, Shuai Hao, Yunzhi Zhuge, Haiwen Diao, Huchuan Lu

分类: cs.CV

发布日期: 2026-10-13

备注: 24 pages, 11 figures, 10 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出Plan-Bench以评估VLM在具身世界中的推理与规划能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 高层推理 多步规划 具身人工智能 Plan-Bench 模型评估 空间信息整合

📋 核心要点

  1. 现有的视觉-语言模型在高层推理和多步规划方面存在不足，难以满足物理任务的需求。
  2. 本文提出Plan-Bench基准，专注于评估VLM在具身环境中的推理与规划能力，剥离执行影响。
  3. 实验结果表明，模型规模的增加通常能提升推理和规划能力，最强模型的准确率为75.0%。

📝 摘要（中文）

视觉-语言模型（VLMs）在视觉感知和空间推理方面表现出色，激发了将其作为具身人工智能高层规划者的兴趣。然而，物理任务要求模型整合空间信息、推理时间状态，并在各种约束下生成多步计划，这引发了对现有VLMs是否能独立支持此类推理和规划的质疑。本文提出了Plan-Bench，一个用于评估VLM在具身世界中高层推理和多步规划能力的基准，涵盖16个子类和699个样本。对28个VLM的广泛评估显示出改进空间，即使是最强模型的准确率也仅为75.0%。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言模型在具身环境中推理和规划能力不足的问题，尤其是在多步计划生成和空间信息整合方面的挑战。

核心思路：通过引入Plan-Bench基准，论文提供了一种新的评估框架，专注于高层推理和规划能力，而不受执行过程的影响。

技术框架：Plan-Bench基准涵盖三个互补维度，包含16个子类和699个样本，旨在全面评估VLM的能力。评估过程包括对28个VLM的系统性测试。

关键创新：Plan-Bench的最大创新在于其设计理念，即将推理和规划能力的评估与执行过程分离，提供了一个轻量级的评估工具。

关键设计：在实验中，采用了多种模型规模进行对比，发现较大的模型在推理和规划能力上表现更佳，且通过消融研究验证了模型规模与能力之间的正相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，28个VLM的评估中，最强模型的准确率仅为75.0%，表明在推理和规划能力上仍有显著提升空间。模型规模的增加普遍提升了这些能力，验证了大模型在高层规划中的潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动化决策系统和智能助手等。通过提升VLM在具身环境中的推理与规划能力，可以为复杂物理任务提供更可靠的解决方案，推动智能系统的实际应用和发展。

📄 摘要（原文）

Vision-Language Models (VLMs) have achieved strong performance in visual perception and spatial reasoning, leading to growing interest in using them as high-level planners for embodied AI. However, physical tasks require models to integrate spatial information, reason over temporal states, and generate multi-step plans under various constraints, raising the question of whether current VLMs can reliably support such reasoning and planning independently of execution. We introduce Plan-Bench, a benchmark for evaluating the high-level reasoning and multi-step planning capabilities of VLMs relevant to embodied worlds, while isolating the influence of action execution. It covers three complementary dimensions, spanning 16 subclasses and 699 curated samples. Extensive evaluation of 28 VLMs reveals room for improvement, with even the strongest model achieving only 75.0% accuracy. We further find that model scaling generally improves these capabilities. Ablation studies also indicate larger models show increasing potential as high-level planners. Overall, Plan-Bench provides a lightweight probe for evaluating VLMs' reasoning and planning capabilities relevant to embodied environments and assessing their potential as decision makers for physical tasks. Our benchmark and code are available at https://github.com/MinneFeng/Plan-Bench.