EgoPlan-Bench2: A Benchmark for Multimodal Large Language Model Planning in Real-World Scenarios

📄 arXiv: 2412.04447v2 📥 PDF

作者: Lu Qiu, Yi Chen, Yuying Ge, Yixiao Ge, Ying Shan, Xihui Liu

分类: cs.AI, cs.CV

发布日期: 2024-12-05 (更新: 2025-04-11)

备注: Code & data are available at: https://qiulu66.github.io/egoplanbench2/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出EgoPlan-Bench2基准测试，评估多模态大语言模型在真实场景中的规划能力

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 规划能力 基准测试 第一人称视角 思维链 真实场景 机器人 人工智能

📋 核心要点

  1. 现有MLLM在复杂环境下的规划能力不足，难以有效解决真实世界的任务，缺乏系统性的评估基准。
  2. 提出EgoPlan-Bench2基准，包含四大领域24个细分场景，采用第一人称视角视频数据，更贴近人类日常问题解决方式。
  3. 通过多模态CoT提示，无需额外训练，即可显著提升MLLM在EgoPlan-Bench2上的规划性能，例如GPT-4V提升10.24%。

📝 摘要（中文）

多模态大语言模型（MLLM）利用大语言模型的强大能力，在多模态理解和推理方面表现出卓越的性能，预示着通用人工智能的新时代。然而，实现AGI不仅需要理解和推理，还需要在各种场景中进行有效规划，即基于复杂环境做出合理的决策以解决实际问题。本文提出了EgoPlan-Bench2，这是一个严谨而全面的基准，旨在评估MLLM在各种真实场景中的规划能力。EgoPlan-Bench2包含涵盖4个主要领域和24个详细场景的日常任务，与人类日常生活紧密相关。EgoPlan-Bench2通过半自动过程利用以自我为中心的视频构建，并辅以人工验证。基于第一人称视角，它反映了人类在日常生活中解决问题的方式。我们评估了21个有竞争力的MLLM，并深入分析了它们的局限性，揭示了它们在现实世界规划中面临的重大挑战。为了进一步提高当前MLLM的规划能力，我们提出了一种无需训练的方法，通过研究各种多模态提示在复杂规划中的有效性，使用多模态思维链（CoT）提示。我们的方法在没有额外训练的情况下，将GPT-4V在EgoPlan-Bench2上的性能提高了10.24。我们的工作不仅揭示了当前MLLM在规划方面的局限性，也为未来在这一关键领域的改进提供了见解。

🔬 方法详解

问题定义：论文旨在评估和提升多模态大语言模型（MLLM）在真实世界场景中的规划能力。现有方法在复杂环境下的规划能力不足，缺乏一个全面、严谨的基准测试来评估MLLM在真实场景中的规划能力，并且现有方法难以有效解决真实世界的任务。

核心思路：论文的核心思路是构建一个更贴近人类日常经验的基准测试EgoPlan-Bench2，并探索一种无需训练的多模态思维链（CoT）提示方法来提升MLLM的规划能力。EgoPlan-Bench2采用第一人称视角视频，更符合人类解决问题的习惯。多模态CoT提示旨在引导模型逐步推理，从而提高规划的准确性。

技术框架：EgoPlan-Bench2基准的构建流程包括：1) 收集以自我为中心的视频数据；2) 半自动标注场景和任务；3) 人工验证和修正。评估流程包括：1) 输入场景描述和任务目标；2) MLLM生成规划步骤；3) 评估规划步骤的合理性和完整性。提出的多模态CoT提示方法，通过设计不同的多模态提示，引导模型进行逐步推理，从而提升规划能力。

关键创新：论文的关键创新在于：1) 提出了EgoPlan-Bench2基准，更全面、严谨地评估MLLM在真实场景中的规划能力；2) 提出了一种无需训练的多模态CoT提示方法，能够有效提升MLLM的规划性能。与现有方法相比，EgoPlan-Bench2更贴近人类日常经验，多模态CoT提示方法无需额外训练，更易于应用。

关键设计：EgoPlan-Bench2基准的关键设计包括：1) 包含四大领域24个细分场景，覆盖了广泛的日常任务；2) 采用第一人称视角视频数据，更贴近人类解决问题的习惯；3) 提供了详细的标注信息，方便模型进行学习和推理。多模态CoT提示方法的关键设计包括：1) 设计了不同的多模态提示，例如视觉提示、文本提示等；2) 引导模型进行逐步推理，从而提高规划的准确性；3) 通过实验验证了不同提示的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EgoPlan-Bench2能够有效评估MLLM的规划能力，并揭示了现有模型的局限性。通过多模态CoT提示，GPT-4V在EgoPlan-Bench2上的性能提升了10.24%，证明了该方法的有效性。此外，实验还分析了不同多模态提示的有效性，为未来的研究提供了指导。

🎯 应用场景

该研究成果可应用于机器人导航、智能家居、自动驾驶等领域。通过提升MLLM的规划能力，可以使机器人更好地理解人类指令，并在复杂环境中自主完成任务。例如，在智能家居中，机器人可以根据用户的语音指令，自主规划完成一系列任务，如准备早餐、打扫房间等。在自动驾驶领域，可以提升自动驾驶系统在复杂交通环境下的决策能力。

📄 摘要（原文）

The advent of Multimodal Large Language Models, leveraging the power of Large Language Models, has recently demonstrated superior multimodal understanding and reasoning abilities, heralding a new era for artificial general intelligence. However, achieving AGI necessitates more than just comprehension and reasoning. A crucial capability required is effective planning in diverse scenarios, which involves making reasonable decisions based on complex environments to solve real-world problems. Despite its importance, the planning abilities of current MLLMs in varied scenarios remain underexplored. In this paper, we introduce EgoPlan-Bench2, a rigorous and comprehensive benchmark designed to assess the planning capabilities of MLLMs across a wide range of real-world scenarios. EgoPlan-Bench2 encompasses everyday tasks spanning 4 major domains and 24 detailed scenarios, closely aligned with human daily life. EgoPlan-Bench2 is constructed through a semi-automatic process utilizing egocentric videos, complemented by manual verification. Grounded in a first-person perspective, it mirrors the way humans approach problem-solving in everyday life. We evaluate 21 competitive MLLMs and provide an in-depth analysis of their limitations, revealing that they face significant challenges in real-world planning. To further improve the planning proficiency of current MLLMs, we propose a training-free approach using multimodal Chain-of-Thought (CoT) prompting through investigating the effectiveness of various multimodal prompts in complex planning. Our approach enhances the performance of GPT-4V by 10.24 on EgoPlan-Bench2 without additional training. Our work not only sheds light on the current limitations of MLLMs in planning, but also provides insights for future enhancements in this critical area. We have made data and code available at https://qiulu66.github.io/egoplanbench2/.