V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents

📄 arXiv: 2609.37250v1 📥 PDF

作者: Yang Zhang, Jiangyuan Zhao, Chenyou Fan, Jiayu Hu, Xiu Yuan, Chenjia Bai, Xiu Li

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-09-29

备注: 19 pages, 5 figures, 11 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出V-JEPA Policy以构建有效的世界-动作模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界-动作模型 视觉潜在空间 深度学习 机器人控制 多模态学习 泛化能力 视频理解

📋 核心要点

  1. 现有的世界-动作模型通常依赖于完整的预训练视觉生成模型，导致模型复杂性和训练成本高。
  2. V-JEPA Policy框架利用冻结的V-JEPA 2.1编码器的潜在空间，简化了WAM的构建过程，且无需完整的生成模型。
  3. 在LIBERO、LIBERO-Plus和RoboCasa-GR1等基准测试中，V-JEPA Policy在控制和泛化能力上显著优于现有方法。

📝 摘要（中文）

世界-动作模型（WAMs）将未来视觉状态预测与动作生成相结合。本文探讨了大规模预测预训练的视觉潜在空间是否可以为有效的WAM学习提供基础，而无需完全继承预训练的视觉生成模型。为此，我们提出了V-JEPA Policy框架，基于冻结的V-JEPA 2.1编码器的潜在空间构建WAM。通过从头学习一个指令条件的未来潜在预测器和流匹配动作专家，V-JEPA Policy在多个基准上表现出竞争力，尤其在分布转移情况下表现优越。我们的研究表明，预测视觉潜在空间是有效WAM学习的重要基础。

🔬 方法详解

问题定义：本文旨在解决现有世界-动作模型在依赖完整预训练视觉生成模型时的复杂性和训练成本高的问题。现有方法在处理分布转移时表现不佳，限制了其应用范围。

核心思路：我们提出V-JEPA Policy框架，利用冻结的V-JEPA 2.1编码器的潜在空间进行WAM构建，避免了对完整生成模型的依赖。通过从头学习指令条件的未来潜在预测器和流匹配动作专家，实现了高效的模型训练。

技术框架：V-JEPA Policy的整体架构包括一个冻结的V-JEPA 2.1编码器、一个未来潜在预测器和一个流匹配动作专家。未来潜在预测器根据上下文生成未来状态，而动作专家则基于预测的状态生成相应动作。

关键创新：V-JEPA Policy的主要创新在于通过冻结的潜在空间进行WAM学习，显著降低了模型复杂性，同时在处理任务特定演示和广泛视频知识转移时表现出色。

关键设计：模型总参数为9亿，其中6亿可训练。我们设计了适应性损失函数，以确保预测器和动作专家的有效协同学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

V-JEPA Policy在多个基准测试中表现出色，尤其在LIBERO、LIBERO-Plus和RoboCasa-GR1上，与现有的世界-动作模型和视觉-语言-动作基线相比，展现了更强的控制能力和泛化能力，特别是在分布转移情况下，性能提升显著。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能监控等。通过有效的世界-动作模型，系统能够更好地理解和预测环境变化，从而做出更智能的决策。未来，该方法可能在多模态学习和人机交互等领域产生深远影响。

📄 摘要（原文）

World-action models (WAMs) couple future visual-state prediction with action generation. By adapting video generators or image-editing models pretrained at scale, a prominent line of recent WAMs inherits both predictive knowledge and the models in which it was learned. We ask whether a predictive visual latent space induced by large-scale predictive pretraining can instead provide a sufficient foundation for effective WAM learning without inheriting a complete pretrained visual generative model. To answer this question, we introduce V-JEPA Policy, a simple framework that builds a WAM on the latent space of a frozen V-JEPA 2.1 encoder. An instruction-conditioned future-latent predictor and a flow-matching action expert are jointly learned from scratch in a single downstream stage, with the predictor's future-informed context key--value states conditioning action generation. With 0.9B total parameters, of which 0.6B are trainable, V-JEPA Policy achieves competitive performance with representative WAM and vision-language-action baselines across LIBERO, LIBERO-Plus, and RoboCasa-GR1. Comparing visual foundations under the same downstream framework and training budget identifies V-JEPA latents as more effective than the discriminative, reconstructive, and video-understanding-oriented alternatives, particularly under distribution shifts. Beyond task-specific learning, pretraining the predictor on DROID video--instruction pairs without action labels and adapting it into a WAM yields substantial gains in downstream control and out-of-distribution generalization. Together, these findings establish predictive visual latents as a foundation for effective WAM learning from task-specific demonstrations and for transferring future-modeling knowledge acquired from broader in-the-wild videos. Our code is available at https://github.com/breez3young/VJEPA-Policy.