VLM See, Robot Do: Human Demo Video to Robot Action Plan via Vision Language Model
作者: Beichen Wang, Juexiao Zhang, Shuwen Dong, Irving Fang, Chen Feng
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2024-10-11 (更新: 2025-09-24)
💡 一句话要点
提出SeeDo，利用视觉语言模型从人类演示视频生成机器人动作规划
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 机器人任务规划 人类演示学习 视频理解 关键帧选择
📋 核心要点
- 现有方法难以直接从人类演示视频中提取机器人可执行的任务规划，限制了机器人学习的效率和泛化能力。
- SeeDo方法通过关键帧选择、视觉感知和VLM推理，将人类演示视频转化为机器人可理解的任务规划。
- 实验表明，SeeDo在长时程拾取放置任务中优于现有视频输入VLM，并在模拟和真实机器人环境中成功部署。
📝 摘要（中文）
本文提出了一种名为SeeDo的方法，该方法利用视觉语言模型（VLM）来解释人类演示视频，并生成机器人任务规划。SeeDo集成了关键帧选择、视觉感知和VLM推理到一个完整的流程中，使VLM能够“看到”人类演示并向机器人解释相应的计划，从而让机器人“执行”。为了验证该方法，作者收集了一组长时程人类视频，这些视频演示了三个不同类别中的拾取和放置任务，并设计了一组指标来全面评估SeeDo与包括最先进的视频输入VLM在内的多个基线模型。实验结果表明SeeDo具有优越的性能。此外，作者还在模拟环境和真实机器人手臂上部署了生成的任务计划。
🔬 方法详解
问题定义：现有机器人任务规划方法通常依赖于自然语言指令或模拟训练数据，难以直接从人类演示视频中学习。这限制了机器人学习的效率和泛化能力，尤其是在复杂、长时程任务中。痛点在于如何有效地从视频中提取关键信息，并将其转化为机器人可执行的动作序列。
核心思路：SeeDo的核心思路是利用视觉语言模型（VLM）的常识推理和泛化能力，将人类演示视频转化为机器人任务规划。通过让VLM“观看”视频并“理解”其中的动作，然后生成相应的机器人动作计划，从而实现从人类演示到机器人执行的桥梁。
技术框架：SeeDo的整体流程包括三个主要模块：1) 关键帧选择：从原始视频中提取最具代表性的帧，减少计算量并突出关键动作。2) 视觉感知：利用视觉模型识别关键帧中的物体和环境信息。3) VLM推理：将视觉感知结果输入VLM，生成机器人任务规划。VLM输出的任务规划可以进一步在模拟或真实机器人环境中执行。
关键创新：SeeDo的关键创新在于将VLM应用于人类演示视频的理解和机器人任务规划生成。与直接使用视频作为输入的VLM方法相比，SeeDo通过关键帧选择和视觉感知，提高了VLM的推理效率和准确性。此外，SeeDo还设计了一套完整的评估指标，用于全面评估任务规划的质量。
关键设计：关键帧选择可能采用均匀采样或基于显著性的方法。视觉感知模块可以使用预训练的物体检测模型或分割模型。VLM可以使用现有的预训练模型，并通过微调来适应机器人任务规划的需求。任务规划的表示形式可以是动作序列、状态转移图等。损失函数的设计需要考虑任务的成功率、动作的合理性等因素。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SeeDo在长时程拾取放置任务中显著优于现有视频输入VLM基线模型。具体而言，SeeDo在任务成功率、动作合理性和规划效率等方面均取得了提升。此外，SeeDo生成的任务规划成功地在模拟环境和真实机器人手臂上部署，验证了该方法的有效性和实用性。
🎯 应用场景
SeeDo方法具有广泛的应用前景，例如：机器人辅助教学，用户可以通过演示视频教会机器人执行新任务；自动化装配，机器人可以观看装配视频并自动完成装配过程；家庭服务机器人，机器人可以学习人类的家务技能。该研究有助于降低机器人编程的门槛，加速机器人在各个领域的应用。
📄 摘要（原文）
Vision Language Models (VLMs) have recently been adopted in robotics for their capability in common sense reasoning and generalizability. Existing work has applied VLMs to generate task and motion planning from natural language instructions and simulate training data for robot learning. In this work, we explore using VLM to interpret human demonstration videos and generate robot task planning. Our method integrates keyframe selection, visual perception, and VLM reasoning into a pipeline. We named it SeeDo because it enables the VLM to ''see'' human demonstrations and explain the corresponding plans to the robot for it to ''do''. To validate our approach, we collected a set of long-horizon human videos demonstrating pick-and-place tasks in three diverse categories and designed a set of metrics to comprehensively benchmark SeeDo against several baselines, including state-of-the-art video-input VLMs. The experiments demonstrate SeeDo's superior performance. We further deployed the generated task plans in both a simulation environment and on a real robot arm.