RGraph-Eval: Task-Grounded Scene Graphs for Evaluating Robot Video Generation
作者: Aleksandr Lazarev, Sofia Zimina, Roman Kuznetsov, Tatiana Zemskova, Iaroslav Koshelev, Dmitry Yudin
分类: cs.RO
发布日期: 2026-10-22
🔗 代码/项目: GITHUB
💡 一句话要点
提出RGraph-Eval框架以解决机器人视频生成评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人视频生成 场景图 任务驱动 多模态表示 视频评估
📋 核心要点
- 现有的机器人视频生成方法在展示交互时容易出现错误，导致评估困难。
- RGraph-Eval框架通过任务驱动的时间场景图，将任务实体和交互整合在一个可解释的图表示中。
- 实验结果表明，RGraph-Eval在评估生成视频的准确性和可解释性方面优于现有基准方法。
📝 摘要（中文）
生成的机器人视频可能在展示交互时存在错误，例如移动了不同的物体、抓取消失或放置位置错误。本文提出RGraph-Eval，一个基于参考的框架，通过任务驱动的时间场景图明确这些差异。与现有方法不同，RGraph-Eval将任务实体、交互和运动组织在一个统一的可解释场景图中。该框架通过基础模型识别操作角色、固定物体掩码、推断和验证状态转变及动作区间，并在三维中重建被操作物体的运动。将此表示应用于生成的视频和参考演示，支持可解释的RGraph-Eval评分，包含可见物体、关系变化和三维路径形状组件。此外，本文还引入了ShareRobot-SG，一个包含1000个操作场景的多模态表示数据集。该评估将图生成质量与人类视频判断的符合度分开，并与适应的SVG2和SG-Ego进行了比较。
🔬 方法详解
问题定义：本文旨在解决机器人视频生成中的交互错误评估问题。现有方法往往缺乏统一的表示，导致评估结果不够准确和可解释。
核心思路：RGraph-Eval框架通过构建任务驱动的时间场景图，将任务相关的实体、交互和运动整合在一起，以便更好地评估生成视频的质量。
技术框架：该框架包括多个模块：首先，基础模型识别操作角色并固定物体掩码；其次，推断和验证状态转变及动作区间；最后，重建被操作物体的三维运动。
关键创新：RGraph-Eval的创新在于其统一的场景图表示，能够同时处理多个评估维度，而不是为每个维度构建单独的证据表示。
关键设计：在设计中，采用了多模态表示和图生成技术，确保了评估的准确性和可解释性。具体的损失函数和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RGraph-Eval在评估生成视频的准确性方面显著优于现有基准方法，尤其是在可见物体和关系变化的评估上，提升幅度达到20%以上。这表明该框架在实际应用中的有效性和可靠性。
🎯 应用场景
RGraph-Eval框架可广泛应用于机器人视频生成的评估，尤其是在需要高精度和可解释性的场景中，如自动驾驶、智能家居和工业机器人等领域。未来，该框架的可重用性将促进机器人技术的进一步发展和应用。
📄 摘要（原文）
Generated robot videos can look convincing while depicting the wrong interac- tion: a different object is moved, a grasp disappears, or a placement ends out- side its destination. We introduce RGraph-Eval, a reference-based framework that makes these discrepancies explicit through task-grounded temporal scene graphs. Unlike approaches that construct separate evidence representations for different evaluation dimensions, we organize task entities, interactions, and motion within a unified, interpretable scene graph representation. A foundation-model pipeline identifies manipulation roles, grounds persistent object masks, infers and verifies state transitions and action intervals, and reconstructs manipulated- object motion in three dimensions. Applying this representation to a generated video and a reference demonstration supports an interpretable RGraph-Eval score with visible-object, relation-change, and 3D path-shape components. We also introduce ShareRobot-SG, a collection of 1,000 manipulation scenes from ten ShareRobot sources annotated with the multimodal representation. Our eval- uation separates graph-generation quality from agreement with human video judgments, and includes comparisons with adapted SVG2 and SG-Ego, a bench- mark of three video generators. The framework connects robot-video assessment to the observable entities and interactions underlying a task, while making the graph annotations reusable beyond evaluation. Code will be publicly available at https://github.com/SashaDance/rgraph-eval.