Latent Video Prediction Learns Better World Models

📄 arXiv: 2605.15618v1 📥 PDF

作者: Ali J Alrasheed, Aryan Yazdan Parast, Basim Azam, James Bailey, Naveed Akhtar

分类: cs.CV, cs.AI

发布日期: 2026-05-15

💡 一句话要点

基于隐空间视频预测，提升视频世界模型的鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频预测 世界模型 自监督学习 鲁棒性评估 隐空间表示

📋 核心要点

  1. 现有自监督视频模型评估体系不足以全面衡量其作为世界模型的潜力，尤其是在鲁棒性方面。
  2. 论文提出通过五个鲁棒性维度（特征可区分性、抗损坏、细粒度区分等）系统分析多个前沿视频模型。
  3. 实验表明，基于隐空间预测的模型在多个鲁棒性维度上表现出独特的优势，例如抗损坏和时间方向编码。

📝 摘要（中文）

自监督视频模型越来越多地被视为世界模型，但其评估主要局限于在干净基准上的单一top-1准确率。这使得我们对其作为世界模型的潜力理解存在重大差距。本文对四个匹配容量的前沿视频基础模型V-JEPA 2.1、V-JEPA 2、VideoPrism和VideoMAEv2进行了系统的研究，分析了它们在五个与作为视频世界模型部署相关的鲁棒性维度上的表现：特征可区分性、抗损坏鲁棒性、细粒度区分、抗遮挡鲁棒性和对时间方向的敏感性。评估表明，在所有五个维度上，隐空间预测模型都形成了一个独特的且一致的特性。它们在像素损坏下能更优雅地降级，在遮挡下能保持可用的类结构而非仅仅是几何稳定性，无需重建像素即可捕获细粒度的物理接触线索，并且唯一地编码了时间箭头。这些优势甚至可以在任务适应中幸存下来：具有轻量级注意力探针的冻结V-JEPA 2骨干网络在损坏和遮挡鲁棒性方面优于完全微调的VideoMAE和监督的TimeSformer。我们广泛的结果为隐空间预测在鲁棒世界建模方面提供了具体的新证据。

🔬 方法详解

问题定义：现有自监督视频模型，特别是那些被视为世界模型的模型，其评估方式过于简单，主要依赖于在干净数据集上的top-1准确率。这种评估方式忽略了模型在实际应用中可能遇到的各种挑战，例如图像损坏、遮挡以及对时间流逝方向的理解。因此，需要更全面、更细致的评估方法来衡量这些模型作为世界模型的真正潜力。

核心思路：论文的核心思路是通过在多个鲁棒性维度上对不同的视频模型进行系统性的比较分析，从而揭示不同模型架构的优缺点。特别关注基于隐空间预测的模型，并验证其在鲁棒性方面的优势。这种比较分析旨在为未来视频模型的设计和选择提供更充分的依据。

技术框架：论文采用了一种对比评估的框架，选取了四个具有代表性的前沿视频基础模型：V-JEPA 2.1、V-JEPA 2、VideoPrism和VideoMAEv2。然后，在五个不同的鲁棒性维度上对这些模型进行评估，包括特征可区分性、抗损坏鲁棒性、细粒度区分、抗遮挡鲁棒性和对时间方向的敏感性。评估方法包括设计特定的实验和指标来衡量模型在每个维度上的表现。

关键创新：论文的关键创新在于其系统性的评估方法和对隐空间预测模型优势的揭示。以往的研究往往只关注模型在干净数据集上的性能，而忽略了其在实际应用中可能遇到的各种挑战。论文通过在多个鲁棒性维度上进行评估，更全面地衡量了模型作为世界模型的潜力。此外，论文还发现基于隐空间预测的模型在多个鲁棒性维度上表现出独特的优势，例如抗损坏和时间方向编码。

关键设计：论文的关键设计包括五个鲁棒性维度的选择和相应的评估指标。例如，为了评估抗损坏鲁棒性，论文使用了不同程度的像素损坏，并测量模型性能的下降程度。为了评估抗遮挡鲁棒性，论文使用了不同的遮挡模式，并测量模型保持类结构的能力。此外，论文还设计了一个轻量级的注意力探针，用于在任务适应中评估冻结的V-JEPA 2骨干网络的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于隐空间预测的模型（如V-JEPA 2）在抗损坏和抗遮挡方面表现出显著优势。例如，在损坏和遮挡鲁棒性方面，具有轻量级注意力探针的冻结V-JEPA 2骨干网络优于完全微调的VideoMAE和监督的TimeSformer。这些结果为隐空间预测在鲁棒世界建模方面提供了有力支持。

🎯 应用场景

该研究成果可应用于开发更可靠、更智能的视频分析系统，例如在自动驾驶中提高对恶劣天气和遮挡环境的感知能力，在视频监控中增强对异常事件的检测能力，以及在机器人导航中实现更鲁棒的环境理解。未来的研究可以进一步探索如何将隐空间预测的优势与其他技术相结合，以构建更强大的视频世界模型。

📄 摘要（原文）

Self-supervised video models are increasingly framed as world models, yet their evaluation remains largely confined to a single top-1 accuracy score on clean benchmarks. This leaves a major gap in comprehending their potential as world models. We present the first systematic study addressing this gap, analyzing four matched-capacity frontier video foundation models, V-JEPA 2.1, V-JEPA 2, VideoPrism, and VideoMAEv2, across five robustness axes relevant to their deployment as video world models: feature discriminability, corruption robustness, fine-grained discrimination, occlusion robustness, and sensitivity to temporal direction. Our evaluations establish that across all five axes, latent-prediction models form a distinct and consistent profile. They degrade more gracefully under pixel corruption, preserve usable class structure rather than mere geometric stability under occlusion, capture fine-grained physical contact cues without reconstructing pixels, and uniquely encode the arrow of time. These advantages can even survive task adaptation: a frozen V-JEPA 2 backbone with a lightweight attentive probe outperforms a fully fine-tuned VideoMAE and a supervised TimeSformer on corruption and occlusion robustness. Our extensive results offer concrete new evidence in favor of latent prediction for robust world modeling.