AnchorDream: Repurposing Video Diffusion for Embodiment-Aware Robot Data Synthesis

📄 arXiv: 2512.11797v1 📥 PDF

作者: Junjie Ye, Rong Xue, Basile Van Hoorick, Pavel Tokmakov, Muhammad Zubair Irshad, Yue Wang, Vitor Guizilini

分类: cs.RO, cs.CV

发布日期: 2025-12-12

备注: Project page: https://jay-ye.github.io/AnchorDream/

💡 一句话要点

AnchorDream：利用视频扩散模型进行具身感知机器人数据合成

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人模仿学习 数据合成 视频扩散模型 具身感知 世界模型

📋 核心要点

  1. 现有机器人模仿学习方法受限于真实数据采集成本高和仿真环境真实度不足，导致数据规模和多样性受限。
  2. AnchorDream提出了一种具身感知的世界模型，通过机器人运动渲染引导视频扩散模型，合成高质量的机器人数据。
  3. 实验表明，使用AnchorDream生成的数据训练的策略，在模拟和真实环境中都取得了显著的性能提升。

📝 摘要（中文）

大规模和多样化的机器人演示数据收集仍然是模仿学习的主要瓶颈，因为真实世界的数据获取成本高昂，并且仿真器提供的多样性和逼真度有限，存在明显的模拟到真实世界的差距。虽然生成模型提供了一个有吸引力的解决方案，但现有方法通常只改变视觉外观而不创建新的行为，或者存在具身不一致性，从而产生不合理的运动。为了解决这些限制，我们引入了AnchorDream，这是一种具身感知的世界模型，它将预训练的视频扩散模型重新用于机器人数据合成。AnchorDream以机器人运动渲染为条件来指导扩散过程，锚定具身以防止幻觉，同时合成与机器人运动学一致的物体和环境。仅从少量人工遥操作演示开始，我们的方法就可以将它们扩展为大型、多样化、高质量的数据集，而无需显式的环境建模。实验表明，生成的数据可以持续改进下游策略学习，在模拟器基准测试中相对增益为36.4%，在真实世界研究中性能几乎翻倍。这些结果表明，将生成世界模型建立在机器人运动的基础上，为扩展模仿学习提供了一条实用的途径。

🔬 方法详解

问题定义：现有机器人模仿学习方法面临数据瓶颈，真实数据采集成本高昂，仿真环境与真实环境存在差距（sim-to-real gap）。已有的生成模型要么无法生成新的行为，要么生成的运动不符合机器人自身的运动学约束，导致不合理的运动。

核心思路：AnchorDream的核心思路是利用预训练的视频扩散模型生成机器人数据，并以机器人自身的运动渲染作为条件（anchor）来引导扩散过程。通过这种方式，可以确保生成的数据与机器人的运动学约束一致，避免产生不合理的运动，同时生成多样化的环境和物体。

技术框架：AnchorDream的整体框架包括以下几个主要步骤：1) 使用少量人工遥操作演示数据作为初始数据；2) 将机器人运动渲染成图像序列，作为视频扩散模型的条件输入；3) 使用预训练的视频扩散模型生成新的图像序列，这些图像序列包含与机器人运动一致的物体和环境；4) 将生成的图像序列转换成机器人控制策略的训练数据。

关键创新：AnchorDream的关键创新在于将机器人运动渲染作为视频扩散模型的条件输入，从而实现了具身感知的机器人数据生成。这种方法避免了对环境进行显式建模，而是通过学习预训练视频扩散模型的先验知识来生成逼真的环境和物体。与现有方法相比，AnchorDream能够生成更符合机器人运动学约束的数据，从而提高了下游策略学习的性能。

关键设计：AnchorDream的关键设计包括：1) 使用预训练的视频扩散模型，例如Imagen Video或Stable Diffusion，以利用其强大的生成能力；2) 使用机器人运动学模型将机器人运动转换成图像序列，作为扩散模型的条件输入；3) 设计合适的损失函数来训练扩散模型，例如L1损失或感知损失，以提高生成图像的质量；4) 使用数据增强技术来增加生成数据的多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用AnchorDream生成的数据训练的策略，在模拟器基准测试中相对增益为36.4%，在真实世界研究中性能几乎翻倍。这些结果表明，AnchorDream能够有效地提高机器人模仿学习的性能，并具有良好的泛化能力。

🎯 应用场景

AnchorDream可应用于各种机器人模仿学习任务，例如家庭服务机器人、工业机器人和自动驾驶汽车。通过生成大量高质量的训练数据，可以降低机器人学习的成本，提高机器人的性能和泛化能力。该研究成果有望推动机器人技术在更广泛领域的应用。

📄 摘要（原文）

The collection of large-scale and diverse robot demonstrations remains a major bottleneck for imitation learning, as real-world data acquisition is costly and simulators offer limited diversity and fidelity with pronounced sim-to-real gaps. While generative models present an attractive solution, existing methods often alter only visual appearances without creating new behaviors, or suffer from embodiment inconsistencies that yield implausible motions. To address these limitations, we introduce AnchorDream, an embodiment-aware world model that repurposes pretrained video diffusion models for robot data synthesis. AnchorDream conditions the diffusion process on robot motion renderings, anchoring the embodiment to prevent hallucination while synthesizing objects and environments consistent with the robot's kinematics. Starting from only a handful of human teleoperation demonstrations, our method scales them into large, diverse, high-quality datasets without requiring explicit environment modeling. Experiments show that the generated data leads to consistent improvements in downstream policy learning, with relative gains of 36.4% in simulator benchmarks and nearly double performance in real-world studies. These results suggest that grounding generative world models in robot motion provides a practical path toward scaling imitation learning.