Ego2Act: Evaluating Goal-Directed Manipulation in Egocentric Video Generation
作者: Patrick Amadeus Irawan, Iskandar Muda Rizky Parlambang, Rava Maulana, Qinrong Cui, Erland Hilman Fuadi, Zayd M. K. Zuhri, Nanda Ryaas Absar, Ahmed Elshabrawy, Wilfried Ariel Mulyawan, Shoubin Yu, Yue Zhang, Mohit Bansal, Alham Fikri Aji
分类: cs.CV
发布日期: 2026-10-01
备注: Preprint. 51 pages, 19 figures, 23 tables. Code, dataset and project website linked in the paper
💡 一句话要点
提出Ego2Act以解决自我中心视频生成中的多步骤物理推理问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 自我中心视频生成 目标导向操作 多步骤推理 物理合理性 视频生成模型 评估基准 机器人学习
📋 核心要点
- 现有视频生成模型在多步骤物理推理方面存在不足，主要集中于短动作或简单指令，导致复杂任务的执行能力受限。
- 本文提出Ego2Act基准，包含大量真实任务视频，旨在评估模型在目标导向操作中的表现，特别是在多步骤复杂性方面。
- 实验结果表明，现有模型在生成视频时常常跳过或部分执行步骤，导致目标未能实现，尤其在复杂物体操作和持续世界建模方面表现不佳。
📝 摘要（中文）
视频生成模型越来越多地被探索作为具身规划和学习的世界模拟器。为了有效实现这一目标，这些模型不仅需要生成视觉上吸引人的帧，还需预测在执行目标导向动作时环境的动态演变。现有基准主要集中于单一短动作或逐步指令，导致多步骤物理推理未得到充分探讨。本文提出Ego2Act，一个目标导向基准，包含2640个来自110个真实任务的视频，涵盖日常场景、物体杂乱程度和多步骤复杂性。Ego2Act评估视频生成模型能否生成真实的自我中心视频，展示手部操作物体以完成任务。为支持可扩展评估，本文还引入了Ego2ActJudge，一个无参考的评估流程，能够更好地与人类共识对齐任务完成度和物理合理性评估。
🔬 方法详解
问题定义：本文旨在解决现有视频生成模型在多步骤物理推理中的不足，特别是在自我中心视频生成中，现有方法往往无法有效模拟复杂的物体操作和任务执行。
核心思路：Ego2Act通过提供一个包含多样化真实任务的视频基准，评估模型在执行目标导向操作时的表现，强调多步骤推理的重要性。
技术框架：Ego2Act的整体架构包括视频生成模型的输入（初始场景图像和高层目标），生成过程，以及Ego2ActJudge评估模块，后者用于无参考评估生成视频的质量和物理合理性。
关键创新：Ego2Act的主要创新在于其目标导向的多步骤评估框架，填补了现有基准在复杂物理推理方面的空白，与传统方法相比，更加注重任务的完整性和物理动态的准确性。
关键设计：在设计中，Ego2ActJudge采用了一种新的评估策略，结合人类共识来评估任务完成度和物理合理性，确保评估结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现有模型在生成的模拟中常常跳过或部分执行步骤，导致目标未能实现。特别是在复杂物体操作和持续世界建模方面，模型的表现显著低于人类标准，强调了Ego2Act在推动视频生成技术进步中的重要性。
🎯 应用场景
Ego2Act的研究成果可广泛应用于机器人学习、虚拟现实和增强现实等领域，帮助提升智能体在复杂环境中的操作能力。通过提供一个严格的评估基准，推动视频生成模型向更高的物理合理性和目标导向模拟发展，未来可能在自动化和人机交互中发挥重要作用。
📄 摘要（原文）
Video generation models are increasingly being explored as world simulators for embodied planning and learning. To do so effectively, these models must not only generate visually appealing frames, but also predict how environments dynamically evolve when executing goal-directed actions. While evaluating these capabilities is crucial, existing benchmarks focus mainly on single short actions or step-by-step instructions. This leaves multi-step physical reasoning underexplored, especially in egocentric video generation that requires planning to simulate proper execution to accomplish high-level goals by carrying out multiple real-world manipulations. We introduce Ego2Act, a goal-directed benchmark featuring 2,640 videos from 110 real-world tasks across day-to-day settings, varying object clutter and multi-step complexity. Given an initial scene image and a high-level goal, Ego2Act evaluates whether video generation models can produce realistic egocentric videos of a hand manipulating objects to carry out the task. To support scalable evaluation, we also introduce Ego2ActJudge, a reference-free evaluation pipeline that achieves better task completion and physics plausibility evaluation alignment with human consensus compared to relevant baselines. Our findings reveal that models' generated simulations often skip or partially execute steps, leaving later steps missing dependent states, which leads to unfulfilled goal. Furthermore, models consistently fail at fine-grained physical dynamics, particularly during complex object manipulation and persistent world modeling. We hope Ego2Act provides a rigorous testbed for advancing video models toward physically plausible, goal-directed simulation.