V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos
作者: Yexin Hu, Dongheui Lee
分类: cs.RO
发布日期: 2026-09-17
💡 一句话要点
提出V2-STRep以解决机器人技能重用问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人技能 视频生成 任务表示 几何重建 运动规划 跨场景转移 轨迹优化
📋 核心要点
- 现有方法在获取机器人技能时，依赖于场景特定的演示，导致技能重用性差。
- V2-STRep通过结构化任务表示，将生成的视频运动转化为可重用的机器人技能，提升了任务的灵活性。
- 实验结果显示，该方法在六个操控任务中成功率显著提高，且能够适应新的指令，展示了良好的跨场景转移能力。
📝 摘要（中文）
人类操控视频为机器人技能的获取提供了丰富的运动和交互线索，而无需机器人演示。视频生成模型通过初始场景图像和任务指令合成演示，避免了为每个任务录制演示的需求。然而，恢复的运动仅捕捉到一种场景特定的实现，任务结构、几何关系和约束仍然隐含。本文提出V2-STRep，一个零-shot框架，通过VLM基础的结构化任务表示将生成的视频运动转换为可重用的机器人技能。该表示指定运动阶段、参考和任务相关约束，目标由最小几何结构描述。实验表明，该方法在六个真实世界的操控任务中，相较于基线方法，执行成功率显著提高，并且能够可靠地跨场景转移已获得的技能，适应变化的部署指令。
🔬 方法详解
问题定义：本文旨在解决现有机器人技能获取方法中，依赖场景特定演示导致的技能重用性差的问题。现有方法无法有效捕捉任务结构和几何关系，限制了技能的适应性和灵活性。
核心思路：V2-STRep框架通过VLM基础的结构化任务表示，将生成的视频运动转化为可重用的机器人技能。该方法通过明确的几何结构和任务约束，提升了技能的通用性和适应性。
技术框架：该框架包括视频生成、任务几何重建、运动阶段识别和轨迹优化等模块。首先，通过视频生成模型合成演示，然后利用RGB-D观察重建任务几何，最后进行运动规划和优化。
关键创新：V2-STRep的核心创新在于将VLM提供的2D图像线索提升至3D几何表示，并通过几何特定规则实现运动在新场景中的转移。这一方法与传统依赖具体演示的技能获取方式本质上不同。
关键设计：在设计中，采用了最小几何结构描述目标，设置了任务相关的约束，并通过轨迹优化结合抓取选择与完整的机器人运动规划，确保了任务要求的保留和关节限制的适应。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，V2-STRep在六个真实世界操控任务中，执行成功率相比基线方法提高了显著的幅度，且成功实现了跨场景技能转移，展示了良好的适应性和灵活性。
🎯 应用场景
该研究的潜在应用领域包括工业机器人、服务机器人和家庭自动化等。通过实现技能的重用和适应性，V2-STRep能够显著降低机器人在新任务中的学习成本，提高其在动态环境中的操作能力，未来可能推动机器人技术的广泛应用。
📄 摘要（原文）
Human manipulation videos provide rich motion and interaction cues for acquiring robot skills without robot demonstrations. Video generation models synthesize such demonstrations from an initial scene image and task instruction, avoiding the need to record demonstrations for each task. However, the recovered motion captures only one scene-specific realization, leaving task structure, geometric relations, and constraints implicit. We present V2-STRep, a zero-shot framework that converts generated video motion into reusable robot skills through VLM-grounded structured task representations. The representation specifies motion phases, references, and task-relevant constraints, with targets described by minimal geometric structures: points, point-normals, axes, planes, and full 6D poses. VLM-provided 2D image-space cues are lifted into 3D using RGB-D observations to reconstruct task geometry and candidate grasp poses. Geometry-specific rules transfer motion to new scenes, while task-constrained trajectory optimization couples grasp selection with complete robot motion planning. It preserves task requirements while using remaining rotational freedom to accommodate joint limits. Updating deployment grounding and constraints enables reuse under new compatible instructions without generating another video. Experiments on six real-world manipulation tasks demonstrate improved execution success over baselines, reliable cross-scene transfer of successfully acquired skills, and adaptation to changed deployment instructions.