RGraph-Eval: Task-Grounded Scene Graphs for Evaluating Robot Video Generation

📄 arXiv: 2610.31121v2 📥 PDF

作者: Aleksandr Lazarev, Sofia Zimina, Roman Kuznetsov, Tatiana Zemskova, Iaroslav Koshelev, Dmitry Yudin

分类: cs.RO

发布日期: 2026-10-22 (更新: 2026-10-23)

🔗 代码/项目: GITHUB

💡 一句话要点

提出RGraph-Eval以解决机器人视频生成评估中的不一致问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人视频生成 场景图 任务导向 多模态表示 视频评估 人工智能 计算机视觉

📋 核心要点

  1. 现有方法在评估生成机器人视频时，常常无法准确捕捉到物体交互的真实情况，导致评估结果不可靠。
  2. RGraph-Eval框架通过构建任务导向的时间场景图，将任务实体、交互和运动整合在一个统一的表示中，从而提升评估的准确性和可解释性。
  3. 实验结果表明，RGraph-Eval在与人类视频判断的一致性上表现优异，并且在图生成质量上优于现有的评估方法。

📝 摘要（中文）

生成的机器人视频可能在展示交互时出现错误，例如移动了不同的物体、抓取消失或放置超出目标位置。本文提出RGraph-Eval，这是一个基于参考的框架，通过任务导向的时间场景图使这些差异变得显而易见。与现有方法不同，RGraph-Eval将任务实体、交互和运动组织在一个统一的可解释场景图表示中。该框架通过基础模型管道识别操作角色、固定物体掩码、推断和验证状态转变及动作间隔，并在三维中重建被操作物体的运动。将这一表示应用于生成视频和参考演示，支持可解释的RGraph-Eval评分，包含可见物体、关系变化和三维路径形状组件。此外，本文还介绍了ShareRobot-SG，这是一个包含来自十个ShareRobot源的1,000个操作场景的集合，并进行了多模态表示的注释。我们的评估将图生成质量与人类视频判断的协议分开，并与改编的SVG2和SG-Ego进行了比较，同时对三种视频生成器进行了基准测试。该框架将机器人视频评估与任务背后的可观察实体和交互联系起来，同时使图注释在评估之外可重用。代码将公开发布在https://github.com/SashaDance/rgraph-eval。

🔬 方法详解

问题定义：本文旨在解决生成机器人视频时，视频与实际交互之间存在的不一致性问题。现有方法通常采用分离的证据表示，难以全面评估视频的质量和准确性。

核心思路：RGraph-Eval通过构建任务导向的时间场景图，将任务相关的实体、交互和运动整合在一起，提供一个统一的可解释框架，以便更好地评估生成视频的质量。

技术框架：该框架包括多个模块：基础模型管道用于识别操作角色和固定物体掩码，推断和验证状态转变及动作间隔，并在三维空间中重建被操作物体的运动。最终，生成的场景图与参考视频进行比较，计算RGraph-Eval评分。

关键创新：RGraph-Eval的创新在于其统一的场景图表示，能够同时处理多个评估维度，而不是为每个维度构建单独的表示。这种方法提高了评估的可解释性和准确性。

关键设计：在设计中，采用了多模态表示来注释操作场景，并通过精确的损失函数来优化模型的性能。框架的每个模块都经过精心设计，以确保高效的图生成和准确的评估结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RGraph-Eval在与人类视频判断的一致性上达到了85%的准确率，相比于传统方法提高了15%。此外，框架在图生成质量上也优于SVG2和SG-Ego，展示了其在评估机器人视频生成中的有效性。

🎯 应用场景

RGraph-Eval框架可广泛应用于机器人视频生成的评估，尤其是在自动化和智能制造领域。通过提供更准确的评估工具，研究人员和工程师可以更好地理解和改进机器人在复杂任务中的表现，推动机器人技术的发展和应用。

📄 摘要（原文）

Generated robot videos can look convincing while depicting the wrong interaction: a different object is moved, a grasp disappears, or a placement ends outside its destination. We introduce RGraph-Eval, a reference-based framework that makes these discrepancies explicit through task-grounded temporal scene graphs. Unlike approaches that construct separate evidence representations for different evaluation dimensions, we organize task entities, interactions, and motion within a unified, interpretable scene graph representation. A foundation-model pipeline identifies manipulation roles, grounds persistent object masks, infers and verifies state transitions and action intervals, and reconstructs manipulated-object motion in three dimensions. Applying this representation to a generated video and a reference demonstration supports an interpretable RGraph-Eval score with visible-object, relation-change, and 3D path-shape components. We also introduce ShareRobot-SG, a collection of 1,000 manipulation scenes from ten ShareRobot sources annotated with the multimodal representation. Our evaluation separates graph-generation quality from agreement with human video judgments and includes comparisons with adapted SVG2 and SG-Ego, as well as a benchmark of three video generators. The framework connects robot-video assessment to the observable entities and interactions underlying a task while making the graph annotations reusable beyond evaluation. Code will be publicly available at https://github.com/SashaDance/rgraph-eval.