Video Prediction Policy 2: Predict Better, Act Better

📄 arXiv: 2610.10270v1 📥 PDF

作者: Yanjiang Guo, Haodong Yan, Zhide Zhong, Zhongru Zhang, Qingyuan Yang, Qingzhou Lu, Xiaoyu Chen, Yen-Jen Wang, Shuying Deng, Chenghan Yang, Puzhen Yuan, Chenxin Liu, Tun Ban, Xiang Zhu, Yichen Liu, Kun Feng, Haoang Li, Jianyu Chen

分类: cs.CV, cs.RO

发布日期: 2026-10-07

💡 一句话要点

提出Video Prediction Policy 2以解决现有WAMs在开放环境中的预测不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频预测 动作生成 世界动作模型 混合变换器 零-shot学习 操控任务 深度学习

📋 核心要点

  1. 现有的世界动作模型在开放环境中经常产生错误的运动预测，导致执行错误的动作，主要原因在于基础视频模型未针对操控进行优化。
  2. 本文提出VPP2，通过大规模多样化的视频数据集进行预训练，并采用混合变换器架构引入动作模块，以提升视频预测和动作生成的泛化能力。
  3. 实验结果显示，VPP2在视频预测指令跟随成功率上超越Cosmos3-64B 11.0个百分点，并在真实世界的零-shot ALOHA操控任务中超越最强基线18.5个百分点。

📝 摘要（中文）

世界动作模型（WAMs）作为一种通用机器人策略，旨在将视频预测先验转移到动作学习中。然而，现有WAMs在开放环境中经常产生错误的运动预测，导致错误的动作。本文提出Video Prediction Policy 2（VPP2），通过大规模多样化的操控视频数据集进行预训练，并引入混合变换器架构的动作模块，显著提升了视频预测和动作生成的零-shot泛化能力。实验结果表明，VPP2在多个基准测试中均表现优异，成功率显著高于现有最强基线。

🔬 方法详解

问题定义：本文旨在解决现有世界动作模型在开放环境中产生错误运动预测的问题，导致执行错误动作的现象。现有方法的不足主要体现在基础视频模型未针对操控任务进行优化，以及简单地将动作组件纳入视频模型会显著降低其泛化能力。

核心思路：论文提出的核心思路是通过构建Video Prediction Policy 2（VPP2），利用大规模多样化的操控视频数据集进行预训练，并通过混合变换器架构引入动作模块，以增强模型在视频预测和动作生成中的零-shot泛化能力。

技术框架：VPP2的整体架构包括三个主要阶段：首先，利用多样化的视频数据集进行基础视频模型的预训练；其次，进行后训练和蒸馏，将视频模型转化为具有固定预测视野的单步视觉规划器；最后，通过混合变换器架构引入动作模块，学习隐式逆动力学模型。

关键创新：VPP2的关键创新在于其通过事件级视频预训练和混合变换器架构的结合，显著提升了模型在开放式操控任务中的泛化能力。这一设计与现有方法的本质区别在于，VPP2专注于优化视频模型以适应操控任务，而非简单地将动作信息整合进视频模型中。

关键设计：在模型设计中，VPP2采用了详细的注释视频片段，并通过事件级预训练促进泛化能力。此外，混合变换器架构的引入使得模型能够有效学习隐式逆动力学，提升了动作生成的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，VPP2-14B在视频预测指令跟随成功率上超越Cosmos3-64B 11.0个百分点，并在真实世界的零-shot ALOHA操控任务中超越最强基线18.5个百分点。此外，经过基准特定的后训练，VPP2在LIBERO-Pro、LIBERO-OOD和RoboDojo基准测试中实现了最高的成功率。

🎯 应用场景

该研究的潜在应用领域包括机器人操控、自动化生产线、智能家居等。通过提升机器人在开放环境中的操作能力，VPP2能够在复杂和动态的环境中实现更高效的任务执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

World action models (WAMs) have emerged as an important class of generalist robot policies, aiming to transfer video prediction priors to action learning. However, we find that existing WAMs frequently produce incorrect motion predictions in open-ended environment, leading to erroneous actions. We attribute this limitation to two factors: (1) base video models are not optimized for manipulation, and (2) naively incorporating action components into video models can substantially degrade their generalization capabilities. We introduce Video Prediction Policy 2 (VPP2), a WAM that enables strong zero-shot generalization in both video prediction and action generation. First, we curate a large-scale, diverse dataset of manipulation videos to continue pretraining the base video foundation model. We annotate video clips with detailed captions and perform \textit{event-level} video pretraining to promote generalization across open-ended manipulation tasks. Second, we post-train and distill the video model into a single-step visual planner with fixed prediction horizon. Finally, we introduce action module via a mixture-of-transformers (MoT) architecture to learn implicit inverse dynamics model. Experiments demonstrate three key results: (1) VPP2-14B outperforms Cosmos3-64B by 11.0\% points in video prediction instruction-following success rate on open-ended tasks; (2) VPP2 surpasses the strongest baseline by 18.5\% points in success rate on real-world zero-shot ALOHA manipulation tasks; and (3) following benchmark-specific post-training, VPP2 achieves the highest success rates among evaluated methods on the challenging LIBERO-Pro, LIBERO-OOD, and RoboDojo benchmarks.