Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling
作者: Yifeng Yao, Jinghan Li, Zhihao Zhang, Yajiao Xiong, Yang Jin, Kun Xu, Huishuai Zhang, Dongyan Zhao
分类: cs.CV, cs.AI
发布日期: 2026-10-22 (更新: 2026-10-23)
💡 一句话要点
提出VANE框架以解决视频世界建模中的未来预测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频理解 自监督学习 未来预测 视觉建模 动作识别 嵌入空间 生成解码器
📋 核心要点
- 现有方法在视频世界建模中未能有效利用未来预测信号，导致表示质量不足。
- 本文提出VANE框架，通过下一帧预测在嵌入空间中进行自监督学习，强调时间演变作为学习信号。
- VANE在多个基准测试中表现优异，尤其在动作预期任务中显著提升性能，展示了其有效性和可扩展性。
📝 摘要（中文）
视频提供了一种自然的监督来源：未来发生的事情可以作为视觉世界建模的学习信号。然而，现有的掩码视频预训练方法侧重于从周围上下文中恢复缺失内容，而不是从过去预测未来。自回归方法一次预测一个标记，但在表示质量上尚未与联合嵌入方法相匹配。为此，本文提出了VANE，一个基于嵌入空间的下一帧预测的自监督视觉预训练框架。通过一个因果编码器总结过去观察，状态预测器推断整个下一帧的表示，使时间演变成为主要学习信号。实验表明，VANE在模型和数据扩展时表现出色，在大多数统一编码器的预期、识别和密集感知基准上实现了SOTA，尤其在EPIC-KITCHENS-100动作预期上超越V-JEPA 2.1，提升7.1点。
🔬 方法详解
问题定义：本文旨在解决现有视频世界建模方法未能有效利用未来预测信号的问题。现有的掩码视频预训练方法主要关注恢复缺失内容，而自回归方法在表示质量上未能达到预期。
核心思路：VANE框架通过下一帧预测在嵌入空间中进行自监督学习，利用因果编码器总结过去观察，推断整个下一帧的表示，从而使时间演变成为主要学习信号。
技术框架：VANE的整体架构包括因果编码器、状态预测器和轻量级辅助生成解码器。因果编码器负责处理过去的观察数据，状态预测器推断下一帧的表示，而生成解码器则重建未来帧的细节。
关键创新：VANE的主要创新在于将下一帧预测引入嵌入空间，并通过固定的语义标记器提供的嵌入空间进行预测。这种方法强调了场景内容和结构的保留，提升了表示质量。
关键设计：VANE采用轻量级的生成解码器来重建未来帧的补丁，并通过局部到全局的裁剪序列来统一图像和视频的视觉建模。损失函数设计上，重点关注时间演变的学习信号，确保细粒度空间细节与语义内容的保留。
🖼️ 关键图片
📊 实验亮点
VANE在多个基准测试中表现出色，尤其在EPIC-KITCHENS-100动作预期任务中，超越了V-JEPA 2.1，提升了7.1点的mean-class recall@5，展示了其在统一编码器中的领先地位。这些结果表明，嵌入空间中的下一帧预测方法在视觉世界建模中是有效且可扩展的。
🎯 应用场景
该研究在视频理解、动作识别和场景建模等领域具有广泛的应用潜力。通过有效的未来预测，VANE能够提升自动驾驶、智能监控和人机交互等技术的性能，推动相关领域的发展。未来，VANE的框架也可以扩展到其他多模态学习任务中，进一步提升模型的通用性和适应性。
📄 摘要（原文）
Video provides a natural source of supervision: what happens next serves as a learning signal for visual world modeling. Yet masked video pretraining focuses on recovering missing content from surrounding context rather than predicting the future from the past. Autoregressive methods instead predict forward one token at a time, but have yet to match joint-embedding methods in representation quality. This gap motivates us to revisit the granularity and space of future prediction. In this work, we introduce VANE, a self-supervised visual pretraining framework built on next-frame prediction in embedding space. A causal encoder summarizes past observations for a state predictor that infers the representation of the entire next frame, making temporal evolution the primary learning signal. This prediction is carried out in a fixed embedding space provided by a frozen semantic tokenizer, emphasizing scene content and structure. To retain fine-grained spatial detail alongside semantic content, a lightweight auxiliary generative decoder reconstructs future-frame patches conditioned on the predicted representations. To unify visual modeling across images and videos, we construct a local-to-global crop sequence for still images, allowing the same encoder to predict newly revealed regions from earlier crops under the same objective. Experiments show that VANE improves with model and data scaling, achieving SOTA on most anticipation, recognition, and dense perception benchmarks among unified encoders. Especially on EPIC-KITCHENS-100 action anticipation, it surpasses V-JEPA 2.1 by 7.1 points in mean-class recall@5. These results demonstrate that next-frame prediction in embedding space is effective and scalable for visual world modeling.