Learning from Next-Frame Prediction: Towards Unified and Scalable Visual Representation Learning
作者: Yifeng Yao, Jinghan Li, Zhihao Zhang, Yajiao Xiong, Yang Jin, Kun Xu, Huishuai Zhang, Dongyan Zhao
分类: cs.CV, cs.AI
发布日期: 2026-10-22
💡 一句话要点
提出VANE框架以解决视频预测与视觉表示学习的统一性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频理解 自监督学习 下一帧预测 视觉表示学习 动作预测 因果编码器 生成解码器
📋 核心要点
- 现有的掩码视频预训练方法未能有效利用视频的时间信息，主要集中于恢复缺失内容。
- 本文提出的VANE框架通过下一帧预测来实现自监督学习，强调时间演变作为主要学习信号。
- 实验结果显示，VANE在多个基准测试中表现优异，尤其在动作预测任务中显著提升了性能。
📝 摘要（中文）
视频提供了一种自然的监督来源，未来的发生为视觉世界建模提供了学习信号。然而，现有的掩码视频预训练方法主要关注从周围上下文恢复缺失内容，而非从过去预测未来。自回归方法虽然逐个标记地向前预测，但在表示质量上尚未达到联合嵌入方法的水平。为此，本文提出了VANE，一个基于嵌入空间的下一帧预测的自监督视觉预训练框架。该框架通过因果编码器总结过去观察，推断整个下一帧的表示，使时间演变成为主要学习信号。实验结果表明，VANE在模型和数据扩展方面表现出色，在多个基准测试中达到了最先进的性能，尤其在EPIC-KITCHENS-100动作预测任务中，相较于V-JEPA 2.1提升了7.1个百分点。
🔬 方法详解
问题定义：本文旨在解决现有视频预训练方法未能充分利用时间信息的问题，现有方法多集中于内容恢复而非未来预测。
核心思路：VANE框架通过下一帧预测来进行自监督学习，利用因果编码器总结过去的观察，推断下一帧的表示，从而强调时间演变作为主要学习信号。
技术框架：VANE的整体架构包括因果编码器、状态预测器和轻量级辅助生成解码器。因果编码器负责处理过去的观察，状态预测器推断下一帧的表示，而生成解码器则重建未来帧的细节。
关键创新：VANE的创新在于将下一帧预测引入嵌入空间，强调时间演变的学习信号，并通过固定的嵌入空间来保持语义内容和结构。
关键设计：VANE使用了一个冻结的语义标记器来提供嵌入空间，确保了场景内容和结构的强调。同时，轻量级生成解码器用于重建未来帧的细节，保持了空间细节与语义内容的结合。实验中，模型和数据的扩展显著提升了性能。
🖼️ 关键图片
📊 实验亮点
VANE在多个基准测试中表现出色，尤其在EPIC-KITCHENS-100动作预测任务中，相较于V-JEPA 2.1提升了7.1个百分点，达到了最先进的性能。这表明下一帧预测在嵌入空间中对视觉世界建模的有效性和可扩展性。
🎯 应用场景
该研究的潜在应用领域包括视频理解、行为识别和自动驾驶等。通过有效的下一帧预测，VANE能够在动态场景中提供更准确的视觉表示，具有重要的实际价值和未来影响。
📄 摘要（原文）
Video provides a natural source of supervision: what happens next serves as a learning signal for visual world modeling. Yet masked video pretraining focuses on recovering missing content from surrounding context rather than predicting the future from the past. Autoregressive methods instead predict forward one token at a time, but have yet to match joint-embedding methods in representation quality. This gap motivates us to revisit the granularity and space of future prediction. In this work, we introduce VANE, a self-supervised visual pretraining framework built on next-frame prediction in embedding space. A causal encoder summarizes past observations for a state predictor that infers the representation of the entire next frame, making temporal evolution the primary learning signal. This prediction is carried out in a fixed embedding space provided by a frozen semantic tokenizer, emphasizing scene content and structure. To retain fine-grained spatial detail alongside semantic content, a lightweight auxiliary generative decoder reconstructs future-frame patches conditioned on the predicted representations. To unify visual modeling across images and videos, we construct a local-to-global crop sequence for still images, allowing the same encoder to predict newly revealed regions from earlier crops under the same objective. Experiments show that VANE improves with model and data scaling, achieving SOTA on most anticipation, recognition, and dense perception benchmarks among unified encoders. Especially on EPIC-KITCHENS-100 action anticipation, it surpasses V-JEPA 2.1 by 7.1 points in mean-class recall@5. These results demonstrate that next-frame prediction in embedding space is effective and scalable for visual world modeling.