RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation

📄 arXiv: 2607.06558v1 📥 PDF

作者: Haoyu Zhao, Xingyue Zhao, Hangyu Li, Biao Gong, Kehan Li, Siteng Huang, Xin Li, Deli Zhao, Zhongyu Li

分类: cs.RO

发布日期: 2026-07-07

备注: Project Page: https://alibaba-damo-academy.github.io/RynnWorld-Teleop.github.io, Github: https://github.com/alibaba-damo-academy/RynnWorld-Teleop

💡 一句话要点

提出RynnWorld-Teleop以解决机器人学习数据收集瓶颈问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting)

关键词: 数字遥操作 生成模型 机器人学习 高保真视频 零-shot迁移 自回归蒸馏 深度感知

📋 核心要点

  1. 现有的机器人学习方法依赖于物理遥操作，导致数据收集效率低下，限制了学习的规模和多样性。
  2. 本文提出了一种数字遥操作的新范式，通过生成世界模型来解耦数据收集与物理限制，提升了数据收集的灵活性和效率。
  3. 实验结果表明，基于RynnWorld-Teleop生成的数据在多种双手任务中实现了有效的零-shot Sim2Real迁移，并显著提高了成功率。

📝 摘要（中文）

机器人学习的扩展需要大量多样的轨迹数据，但目前的收集方式受到物理遥操作的限制。本文提出数字遥操作，通过生成世界模型替代真实机器人，从而解耦数据收集与物理约束。操作员的手势流驱动生成模型合成高保真视频，记录的姿态流作为无关具体硬件的动作标签，便于迁移到任何目标机器人。RynnWorld-Teleop系统结合深度感知骨骼条件、渐进式人机训练和流式自回归蒸馏，实现了实时生成，且在多种双手任务中实现了有效的零-shot Sim2Real迁移，证明其作为高保真、可扩展的数据引擎的潜力。

🔬 方法详解

问题定义：本文旨在解决机器人学习中数据收集效率低下的问题，现有方法依赖于物理遥操作，导致操作员时间与特定硬件和工作空间绑定，限制了数据的多样性和规模。

核心思路：通过引入数字遥操作，使用生成世界模型替代真实机器人，操作员的手势流驱动模型生成高保真视频，从而实现数据收集的解耦和灵活性。

技术框架：RynnWorld-Teleop系统包括深度感知骨骼条件、渐进式人机训练和流式自回归蒸馏等模块，整个流程通过单次推理实现高效生成，支持40+ FPS的实时交互。

关键创新：最重要的创新在于将生成模型与操作员手势流结合，形成了一种无关具体硬件的动作标签，能够有效迁移到不同机器人，突破了传统方法的限制。

关键设计：在技术细节上，系统采用了视频扩散变换器进行训练，并通过自回归蒸馏压缩生成过程，确保了生成的高效性和实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于RynnWorld-Teleop生成的数据在多种双手任务中实现了有效的零-shot Sim2Real迁移，成功率显著提高。此外，系统在单个H100 GPU上实现了40+ FPS的实时交互生成，展现了其高效性和实用性。

🎯 应用场景

RynnWorld-Teleop的研究成果在多个领域具有广泛的应用潜力，包括机器人操作、虚拟现实和增强现实等。通过提供高保真、可扩展的数据引擎，该系统能够加速机器人学习的进程，提升机器人在复杂环境中的适应能力和操作效率，推动智能机器人技术的进步。

📄 摘要（原文）

Scaling robot learning requires massive, diverse trajectory data, yet collection is currently bottlenecked by physical teleoperation, where every demonstration binds operator time to specific hardware and workspaces. We introduce digital teleoperation, a paradigm that decouples data collection from physical constraints by replacing the real robot with a generative world model. In this framework, an operator's hand-pose stream drives a robot-centric generative world model to synthesize high-fidelity egocentric videos from a single reference image. The recorded pose stream serves as an embodiment-agnostic action label transferable to any target robot via standard retargeting, yielding complete state-action trajectories for imitation learning independent of physical hardware. We instantiate this paradigm in RynnWorld-Teleop, a system that integrates depth-aware skeletal conditioning, progressive human-to-robot training on a video Diffusion Transformer, and streaming autoregressive distillation. This pipeline compresses the generative process into a single-pass inference, enabling 40+ FPS, real-time interactive generation on a single H100 GPU. Policies trained exclusively on RynnWorld-Teleop-generated data achieve effective zero-shot Sim2Real transfer across dexterous and diverse bimanual tasks. Moreover, augmenting real-world datasets with our digitally teleoperated data consistently improves success rates, demonstrating that RynnWorld-Teleop serves as a high-fidelity, scalable data engine for the next generation of robotic agents.