RoboJEPA: Scaling Robotic Latent World Models

📄 arXiv: 2610.10515v1 📥 PDF

作者: Artem Zholus, Nicolas Beltran-Velez, Jianhao Yuan, Sarath Chandar, Tushar Nagarajan, Daniel Severo, Koustuv Sinha, Michal Drozdzal, Adriana Romero Soriano, Jeannette Bohg, Nicolas Ballas, Mahmoud Assran

分类: cs.AI, cs.RO

发布日期: 2026-10-07

💡 一句话要点

提出RoboJEPA以解决机器人潜在世界模型的扩展性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 机器人规划 联合嵌入预测 长时间规划 多形态机器人 扩展规律 真实数据训练

📋 核心要点

  1. 现有潜在世界模型缺乏系统性的方法来评估其能力与模型规模、数据和计算能力之间的关系。
  2. 提出RoboJEPA，基于JEPA架构，训练于大规模多机器人数据集，能够有效预测模型质量和规划性能。
  3. 实验结果显示，RoboJEPA的想象误差与计算能力呈强相关，且在真实硬件上能够实现长时间规划任务。

📝 摘要（中文）

潜在世界模型在预测未来状态和规划方面表现出色，但缺乏系统性的方法来评估其能力如何随着模型规模、数据和计算能力的变化而变化。本文提出RoboJEPA，这是一种基于联合嵌入预测架构（JEPA）的世界模型，训练于涵盖12种机器人形态的大规模数据集。研究表明，RoboJEPA的想象误差遵循计算能力的二次幂律，使得我们能够预测模型质量超出拟合范围。此外，机器人规划性能与计算能力呈现可预测的提升，想象误差与之高度相关，成为真实机器人评估的可靠代理。最后，RoboJEPA能够在零样本情况下作为机器人代理进行部署，针对单一目标图像进行长时间规划任务。我们发布了所有模型检查点及训练和机器人部署代码。本文首次为基于真实机器人数据的多形态机器人世界模型建立了扩展规律。

🔬 方法详解

问题定义：本文旨在解决潜在世界模型在扩展性方面的不足，尤其是如何评估模型能力与计算资源之间的关系。现有方法缺乏系统性和可预测性，限制了研究的进展。

核心思路：RoboJEPA通过引入联合嵌入预测架构（JEPA），并在大规模数据集上进行训练，旨在建立模型性能与计算能力之间的定量关系，从而实现更好的预测和规划能力。

技术框架：RoboJEPA的整体架构包括数据收集、模型训练和评估三个主要模块。数据收集涵盖12种不同的机器人形态，模型训练采用JEPA架构，评估阶段则通过计算想象误差来验证模型的有效性。

关键创新：本文的主要创新在于首次建立了多形态机器人世界模型的扩展规律，尤其是在真实机器人数据上进行训练的情况下，RoboJEPA成为迄今为止最大的JEPA预测模型，参数达到8亿。

关键设计：在模型设计中，采用了特定的损失函数来优化想象误差，并通过调整网络结构和参数设置来提升模型的预测能力和规划性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RoboJEPA的想象误差与计算能力之间呈现强相关性，且在真实硬件上进行长时间规划任务时，模型表现出显著的性能提升。具体而言，随着计算能力的增加，机器人规划性能可预测性地提高，验证了模型的有效性和实用性。

🎯 应用场景

RoboJEPA的研究成果在多个领域具有潜在应用价值，包括自主机器人导航、复杂任务规划和人机协作等。通过提升机器人在真实环境中的决策能力，该模型能够推动智能机器人在工业、服务和家庭等场景中的广泛应用，未来可能对智能自动化产生深远影响。

📄 摘要（原文）

Latent world models have shown a remarkable ability to predict future states and to plan in the real world. In practice, however, we lack a principled way to estimate how their capabilities scale with model size, data, and compute, an open problem that slows progress in the field. In this work we present RoboJEPA, a world model based on the Joint Embedding Predictive Architecture (JEPA) and trained on a large-scale dataset spanning 12 robotic embodiments. We show that RoboJEPA's imagination error, the error of its latent rollouts, follows a second-order power law in compute, allowing us to predict model quality well beyond the scale at which the law is fit. We further show that downstream robotic planning performance improves predictably with compute, and that imagination error is strongly correlated with it, making it a reliable proxy for real-robot evaluation. Finally, we demonstrate that latent world models can be deployed zero-shot as robotic agents, planning toward a single goal image to solve tasks requiring long-horizon planning on real hardware. We release all model checkpoints together with our training and robot deployment code. To our knowledge, this is the first work to establish scaling laws for multi-embodiment robotic world models trained on real robot data, and RoboJEPA, at 8B parameters, is the largest JEPA predictor model trained to date.