EWMBench: Evaluating Scene, Motion, and Semantic Quality in Embodied World Models

📄 arXiv: 2505.09694v2 📥 PDF

作者: Hu Yue, Siyuan Huang, Yue Liao, Shengcong Chen, Pengfei Zhou, Liliang Chen, Maoqing Yao, Guanghui Ren

分类: cs.RO

发布日期: 2025-05-14 (更新: 2025-05-18)

备注: Website: https://github.com/AgibotTech/EWMBench

🔗 代码/项目: GITHUB

💡 一句话要点

EWMBench：提出具身世界模型评估基准，关注场景、运动和语义质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身世界模型 评估基准 视频生成 物理合理性 动作一致性

📋 核心要点

  1. 现有具身世界模型缺乏针对物理合理性和动作一致性的有效评估方法。
  2. EWMBench通过构建数据集和评估工具包，从视觉、运动和语义三个维度评估模型。
  3. 实验表明现有视频生成模型在具身任务中存在局限性，为未来研究提供了方向。

📝 摘要（中文）

本文提出具身世界模型基准（EWMBench），旨在评估具身人工智能中，文本到视频扩散模型生成物理上合理场景的能力。该基准超越通用感知指标，关注视觉场景一致性、运动正确性和语义对齐三个关键方面。我们精心策划了一个包含多样场景和运动模式的数据集，并开发了一个全面的多维度评估工具包，用于评估和比较候选模型。该基准不仅揭示了现有视频生成模型在满足具身任务独特需求方面的局限性，还为该领域未来的发展提供了有价值的见解。数据集和评估工具已公开。

🔬 方法详解

问题定义：现有具身世界模型（EWMs）的评估主要依赖于通用的图像/视频质量指标，缺乏针对物理合理性和动作一致性的细致评估。这导致难以判断模型是否真正理解了物理世界，以及生成的行为是否符合预期。现有方法的痛点在于无法有效衡量EWMs在具身任务中的表现。

核心思路：EWMBench的核心思路是构建一个专门用于评估EWMs的基准，该基准包含一个精心策划的数据集和一个多维度的评估工具包。通过从视觉场景一致性、运动正确性和语义对齐三个关键方面进行评估，可以更全面地了解EWMs的性能。

技术框架：EWMBench的整体框架包括以下几个主要部分：1) 数据集构建：收集包含多样场景和运动模式的数据，用于训练和评估EWMs。2) 评估指标设计：设计针对视觉场景一致性、运动正确性和语义对齐的评估指标。3) 评估工具包开发：开发一个易于使用的评估工具包，方便研究人员评估和比较不同的EWMs。4) 模型评估与分析：使用EWMBench评估现有EWMs，并分析其优缺点。

关键创新：EWMBench最重要的技术创新点在于其针对具身任务的评估方法。与传统的图像/视频质量评估方法不同，EWMBench关注EWMs在物理合理性和动作一致性方面的表现。这种评估方法更符合具身任务的实际需求，可以更有效地指导EWMs的开发。

关键设计：EWMBench的关键设计包括：1) 数据集的多样性：数据集包含各种不同的场景和运动模式，以确保评估的全面性。2) 评估指标的针对性：评估指标专门针对视觉场景一致性、运动正确性和语义对齐进行设计，以确保评估的准确性。3) 评估工具包的易用性：评估工具包设计简单易用，方便研究人员快速评估和比较不同的EWMs。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EWMBench通过实验验证了现有视频生成模型在具身任务中的局限性。例如，在运动正确性方面，现有模型生成的视频往往存在不自然的运动轨迹。通过EWMBench的评估，可以发现这些问题，并为未来的模型改进提供指导。具体性能数据和对比基线可在论文和开源代码中找到。

🎯 应用场景

EWMBench可应用于机器人导航、虚拟现实、游戏开发等领域。通过评估和改进具身世界模型，可以提高机器人在复杂环境中的感知和决策能力，增强虚拟现实的真实感和互动性，并为游戏开发提供更智能的AI角色。该研究有助于推动具身人工智能的发展，实现更智能、更自然的交互。

📄 摘要（原文）

Recent advances in creative AI have enabled the synthesis of high-fidelity images and videos conditioned on language instructions. Building on these developments, text-to-video diffusion models have evolved into embodied world models (EWMs) capable of generating physically plausible scenes from language commands, effectively bridging vision and action in embodied AI applications. This work addresses the critical challenge of evaluating EWMs beyond general perceptual metrics to ensure the generation of physically grounded and action-consistent behaviors. We propose the Embodied World Model Benchmark (EWMBench), a dedicated framework designed to evaluate EWMs based on three key aspects: visual scene consistency, motion correctness, and semantic alignment. Our approach leverages a meticulously curated dataset encompassing diverse scenes and motion patterns, alongside a comprehensive multi-dimensional evaluation toolkit, to assess and compare candidate models. The proposed benchmark not only identifies the limitations of existing video generation models in meeting the unique requirements of embodied tasks but also provides valuable insights to guide future advancements in the field. The dataset and evaluation tools are publicly available at https://github.com/AgibotTech/EWMBench.