Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience

📄 arXiv: 2610.26855v1 📥 PDF

作者: Tianqi Liu, Hanfei Zhao, Qifeng Liang, Hui En Pang, Jiarui Xu, Sayang Mu, Penghao Qiu, YingSheng Zhang, Jun Wang, Ziang Cao, Mingze Sun, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu

分类: cs.CV, cs.RO

发布日期: 2026-10-19

备注: Project page: https://ropedia.github.io/ropedia-w0/ ; Code: https://github.com/Ropedia/ropedia-w0

💡 一句话要点

提出Ropedia W0以解决多样化实体间的运动与操作建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 运动-操作建模 多模态监督 自我中心数据 跨实体学习 长时间基准测试 实时交互 政策评估 模型规划

📋 核心要点

  1. 现有方法在不同实体间联合建模运动与操作时面临异构动作空间和多模态监督不足的挑战。
  2. 本文提出Ropedia W0，通过统一的运动学表示和Xp-Data数据集，解决了多样化实体的运动与操作建模问题。
  3. 实验结果表明，模型在多个基准测试中表现优异，尤其是在零-shot推理和少量样本后训练中，性能显著提升。

📝 摘要（中文）

世界模型使得具身代理能够预测行动后果，但在不同实体间联合建模运动与操作仍然面临挑战，主要由于异构的动作空间和有限的多模态监督。本文提出Ropedia W0，这是第一个跨越人类和机器人多样化实体的自我中心运动-操作世界基础模型。我们整理了Xp-Data，包含10,000小时的人类自我中心数据和3,000小时的机器人数据，具有统一的多模态注释和系统的质量控制。通过相机姿态编码运动，通过投影骨架编码操作，机器人骨架结合了特定于实体的前向运动学与广泛的手动关键点注释与修正。我们还引入了Xp-Teleop，这是一个基于高质量灵巧人形遥操作数据的长时间运动-操作基准。评估结果显示，在五个跨实体基准上（DreamDojo、$Ψ_0$、$ω$-HOME、Xp-Teleop和AgiBot）以及在保留的人类自我中心视频上，模型表现出最先进的性能。

🔬 方法详解

问题定义：本文旨在解决在不同实体（如人类与机器人）之间联合建模运动与操作的困难，现有方法在处理异构动作空间和缺乏多模态监督方面存在不足。

核心思路：论文提出Ropedia W0，通过整合自我中心数据和统一的运动学表示，来实现跨实体的运动与操作建模。这样的设计使得模型能够更好地理解和预测不同实体的行为。

技术框架：整体架构包括数据收集（Xp-Data）、运动学表示（相机姿态与骨架投影）、以及基准测试（Xp-Teleop）。模型通过这些模块实现对运动与操作的综合理解。

关键创新：Ropedia W0是首个跨越人类与机器人多样化实体的运动-操作世界基础模型，结合了统一的多模态注释和系统的质量控制，显著提升了模型的泛化能力。

关键设计：模型采用了统一的运动学表示，结合了前向运动学与手动关键点注释，确保了运动与操作的准确性。此外，Xp-Data的数据质量控制和注释标准化也是关键设计之一。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Ropedia W0在五个跨实体基准测试中表现出最先进的性能，尤其在零-shot推理和少量样本后训练中，性能提升幅度达到显著水平，验证了模型的有效性和实用性。

🎯 应用场景

该研究在政策评估、基于模型的规划和世界-行动建模等领域具有广泛的应用潜力。通过实时的交互能力，Ropedia W0能够支持虚拟现实中的实时决策，推动智能机器人和人类协作的进步。

📄 摘要（原文）

World models enable embodied agents to anticipate action consequences, yet jointly modeling locomotion and manipulation across diverse embodiments remains challenging due to heterogeneous action spaces and limited multimodal supervision. We present Ropedia W0, the first egocentric loco-manipulation world foundation model spanning humans and robots with diverse embodiments. We curate Xp-Data, comprising 10k hours of egocentric human data and 3k hours of robot data with unified multimodal annotations and systematic quality control. A unified kinematic representation encodes locomotion through camera poses and manipulation through projected skeletons, with robot skeletons combining embodiment-specific forward kinematics with extensive manual keypoint annotation and correction. We also introduce Xp-Teleop, a long-horizon loco-manipulation benchmark based on high-quality dexterous humanoid teleoperation data. Evaluations demonstrate state-of-the-art performance across five cross-embodiment benchmarks (DreamDojo, $Ψ_0$, $ω$-HOME, Xp-Teleop, and AgiBot) and on held-out human egocentric video, from zero-shot inference to few-shot and full-data post-training. Scaling human pre-training data improves performance on both human and robot evaluations. After distillation, our model supports real-time, minute-long rollouts, enabling live VR interaction. Applications in policy evaluation, model-based planning, and world-action modeling further demonstrate the model's utility for embodied decision-making.