V-Dreamer: Automating Robotic Simulation and Trajectory Synthesis via Video Generation Priors

📄 arXiv: 2603.18811v1 📥 PDF

作者: Songjia He, Zixuan Chen, Hongyu Ding, Dian Shao, Jieqi Shi, Chenxu Li, Jing Huo, Yang Gao

分类: cs.RO

发布日期: 2026-03-19

备注: 8 pages, 6 figures

💡 一句话要点

V-Dreamer：利用视频生成先验自动生成机器人仿真环境与轨迹

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人学习 仿真环境生成 轨迹合成 视频生成模型 模仿学习

📋 核心要点

  1. 通用机器人训练需要大规模、多样化的操作数据，但现实世界的数据收集成本高昂，现有仿真器受限于固定资产库和手动启发式方法。
  2. V-Dreamer利用大型语言模型、3D生成模型和视频生成模型，从自然语言指令自动生成仿真环境和机器人轨迹，无需人工干预。
  3. 实验表明，在合成数据上训练的模仿学习策略能够泛化到仿真中未见过的对象，并成功迁移到真实世界，有效操作真实物体。

📝 摘要（中文）

V-Dreamer是一个全自动框架，旨在通过自然语言指令生成开放词汇、可用于仿真的操作环境和可执行的专家轨迹。该框架采用了一种新颖的生成流程，利用大型语言模型和3D生成模型构建具有物理基础的3D场景，并通过几何约束验证以确保稳定、无碰撞的布局。关键在于，对于行为合成，V-Dreamer利用视频生成模型作为丰富的运动先验。这些视觉预测通过一个鲁棒的Sim-to-Gen视觉-运动学对齐模块（使用CoTracker3和VGGT）映射到可执行的机器人轨迹。该流程支持高度的视觉多样性和物理保真度，无需人工干预。为了评估生成的数据，我们在合成轨迹上训练模仿学习策略，涵盖了不同的对象和环境变化。在Piper机器人手臂上的桌面操作任务的广泛评估表明，我们的策略能够鲁棒地泛化到仿真中未见过的对象，并实现有效的sim-to-real迁移，成功地操作了新的真实世界对象。

🔬 方法详解

问题定义：现有机器人训练方法依赖于昂贵的真实世界数据收集或受限的仿真环境，这些仿真环境通常需要手动设计和固定资产库，难以满足通用机器人的训练需求。因此，如何低成本、高效率地生成多样化的、物理上合理的机器人操作环境和轨迹是一个关键问题。

核心思路：V-Dreamer的核心思路是利用大型语言模型（LLM）、3D生成模型和视频生成模型，将自然语言指令转化为可执行的机器人操作。通过LLM理解指令并生成场景描述，3D生成模型创建物理上合理的3D场景，视频生成模型预测操作过程的视觉表现，最后将视觉信息转化为机器人轨迹。这种方法避免了手动设计和数据收集，实现了全自动化的数据生成流程。

技术框架：V-Dreamer的整体框架包含以下几个主要模块：1) 场景生成：使用LLM解析自然语言指令，生成场景描述，然后利用3D生成模型创建3D场景，并通过几何约束验证场景的物理合理性。2) 行为合成：利用视频生成模型预测操作过程的视觉表现，生成视频序列。3) 轨迹生成：通过Sim-to-Gen视觉-运动学对齐模块（使用CoTracker3和VGGT）将视频序列转化为可执行的机器人轨迹。4) 策略训练：在生成的轨迹上训练模仿学习策略。

关键创新：V-Dreamer的关键创新在于利用视频生成模型作为机器人行为的运动先验。传统方法通常依赖于手动设计的运动规划算法或强化学习，而V-Dreamer通过视频生成模型直接预测操作过程的视觉表现，从而避免了复杂的运动规划过程，并能够生成更加自然、多样化的机器人轨迹。此外，全自动化的流程也显著降低了数据生成成本。

关键设计：V-Dreamer的关键设计包括：1) 使用几何约束验证3D场景的物理合理性，确保场景的稳定性。2) 使用CoTracker3和VGGT进行Sim-to-Gen视觉-运动学对齐，将视频序列转化为机器人轨迹。3) 使用模仿学习训练机器人策略，使其能够模仿生成的专家轨迹。具体的参数设置、损失函数和网络结构等细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在V-Dreamer生成的数据上训练的模仿学习策略能够鲁棒地泛化到仿真中未见过的对象，并实现有效的sim-to-real迁移。该策略成功地操作了新的真实世界对象，验证了V-Dreamer生成数据的有效性和泛化能力。具体的性能数据和提升幅度未在摘要中详细说明，属于未知信息。

🎯 应用场景

V-Dreamer具有广泛的应用前景，可用于机器人通用技能的学习、自动化任务规划、虚拟环境生成等领域。该研究能够降低机器人训练的数据成本，加速机器人技术的普及，并为开发更智能、更灵活的机器人系统提供支持。未来，该技术有望应用于智能制造、家庭服务、医疗健康等领域。

📄 摘要（原文）

Training generalist robots demands large-scale, diverse manipulation data, yet real-world collection is prohibitively expensive, and existing simulators are often constrained by fixed asset libraries and manual heuristics. To bridge this gap, we present V-Dreamer, a fully automated framework that generates open-vocabulary, simulation-ready manipulation environments and executable expert trajectories directly from natural language instructions. V-Dreamer employs a novel generative pipeline that constructs physically grounded 3D scenes using large language models and 3D generative models, validated by geometric constraints to ensure stable, collision-free layouts. Crucially, for behavior synthesis, we leverage video generation models as rich motion priors. These visual predictions are then mapped into executable robot trajectories via a robust Sim-to-Gen visual-kinematic alignment module utilizing CoTracker3 and VGGT. This pipeline supports high visual diversity and physical fidelity without manual intervention. To evaluate the generated data, we train imitation learning policies on synthesized trajectories encompassing diverse object and environment variations. Extensive evaluations on tabletop manipulation tasks using the Piper robotic arm demonstrate that our policies robustly generalize to unseen objects in simulation and achieve effective sim-to-real transfer, successfully manipulating novel real-world objects.