KnowDemo: Knowledge-Guided Robot Demonstration Generation from Human Videos
作者: Zhiyuan Gao, Yanxiang Zhan, Mohammad Khoshnazar, Jeroen Schäfer, Michael Beetz
分类: cs.RO, cs.AI
发布日期: 2026-09-18
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出KnowDemo以解决机器人演示生成的效率与多样性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人演示生成 知识引导 视觉-语言模型 多样化行为 任务引导
📋 核心要点
- 现有方法在生成机器人演示时，容易受到演示特定策略的限制，导致行为多样性不足。
- KnowDemo框架通过提取人类视频中的结构化操作知识，生成多样化的机器人演示，提升了生成效率。
- 实验结果显示，KnowDemo在执行模式和任务引导的抓取采样上均有显著提升，验证了其有效性。
📝 摘要（中文）
学习机器人操作策略通常需要大量演示数据，这在真实机器人上收集成本高昂。现有方法通过适应人类视频中的运动生成机器人演示，但这种方法可能限制行为多样性，并且对任务要求和场景关系的理解不足，导致生成无效候选。为了解决这些问题，本文提出了KnowDemo框架，利用人类视频中的结构化操作知识生成多样化的机器人演示。通过基于视觉-语言模型的知识提取与推理模块，本文将任务要求与演示特定选择区分开来，并将知识转化为可执行的演示。实验表明，该方法在执行模式和候选规划成功率上均有显著提升。
🔬 方法详解
问题定义：本文旨在解决现有机器人演示生成方法在行为多样性和生成效率上的不足。现有方法往往依赖于运动参考适应，限制了生成的多样性，并且对任务要求的理解不足，导致生成无效的演示候选。
核心思路：KnowDemo框架的核心思想是利用结构化的操作知识，通过视觉-语言模型提取任务要求与演示特定选择的关系，从而生成多样化的机器人演示。这样的设计能够有效避免传统方法的局限性，提升生成的有效性和多样性。
技术框架：KnowDemo的整体架构包括知识提取与推理模块、候选生成与筛选模块、运动规划与仿真模块。首先，通过视觉-语言模型提取知识，然后将其应用于目标场景的实体与几何信息中，指导候选生成与筛选，最后进行运动规划与仿真。
关键创新：该研究的主要创新在于引入了知识提取与推理模块，使得任务要求与演示特定选择能够有效区分，从而生成多样化的演示。这一方法与传统的运动参考适应方法本质上不同，后者往往限制了行为的多样性。
关键设计：在技术细节上，KnowDemo采用了视觉-语言模型进行知识提取，设计了特定的损失函数以优化候选生成的有效性，并在运动规划阶段引入了任务引导的抓取采样策略，以提高候选规划的成功率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，KnowDemo在执行模式上超越了仅依赖参考配置的方案，且通过任务引导的抓取采样，候选规划的成功率显著提高。具体而言，生成的演示展示了多模态行为，提供了有效的执行标签，验证了其在三个任务中的仿真到现实转移能力。
🎯 应用场景
KnowDemo框架具有广泛的应用潜力，尤其在机器人操作、自动化生产和人机协作等领域。通过提升机器人演示生成的效率和多样性，该方法能够加速机器人学习过程，降低实际应用中的数据收集成本，推动智能机器人技术的进步。
📄 摘要（原文）
Learning robot manipulation policies typically requires substantial demonstration data, which are costly to collect on real robots. Recent methods generate robot demonstrations from human videos by adapting recovered motion and validating the resulting trajectories in simulation. However, methods centered on motion-reference adaptation can limit behavioral diversity by retaining the demonstrated contact strategies and subtask orders, while insufficient understanding of task requirements and scene relations can reduce demonstration generation efficiency by generating invalid candidates. To address these limitations, we propose KnowDemo, a framework that uses structured manipulation knowledge from human videos to generate diverse robot demonstrations for a target workspace. To distinguish task requirements from demonstration-specific choices, we develop a knowledge extraction and reasoning module based on a vision-language model (VLM) that associates object and action descriptions with inferred task conditions, demonstration references, and permissible execution variations. To translate this knowledge into executable demonstrations, we resolve the descriptions against target-scene entities and geometry to guide candidate generation and screening before motion planning and simulation. The resulting demonstrations exhibit multimodal behavior through alternative contact strategies and valid subtask orders, with structured execution labels. Experiments demonstrate additional verified execution modes beyond a reference-only configuration and improved candidate planning success through task-guided grasp sampling. To validate the generated data for policy learning, we fine-tune the pretrained $π_{0.5}$ model on simulation data, achieving sim-to-real transfer across three tasks. Project page: https://zhiyuan-gao.github.io/knowdemo/