Back to the Features: DINO as a Foundation for Video World Models

📄 arXiv: 2507.19468v1 📥 PDF

作者: Federico Baldassarre, Marc Szafraniec, Basile Terver, Vasil Khalidov, Francisco Massa, Yann LeCun, Patrick Labatut, Maximilian Seitzer, Piotr Bojanowski

分类: cs.CV

发布日期: 2025-07-25

💡 一句话要点

DINO-world：基于DINOv2特征的通用视频世界模型，用于未来帧预测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频预测 世界模型 自监督学习 DINOv2 潜在空间 时间动态 动作条件规划

📋 核心要点

  1. 现有视频预测模型在泛化性和对复杂场景的理解方面存在不足，难以适应真实世界的多样性。
  2. DINO-world利用预训练的DINOv2图像编码器，学习视频帧在DINOv2潜在空间中的时间动态，从而提升模型的泛化能力。
  3. 实验表明，DINO-world在视频预测、分割、深度预测等任务上超越现有模型，并能理解直观物理学，具备规划能力。

📝 摘要（中文）

本文提出了DINO-world，一个强大的通用视频世界模型，它被训练来预测DINOv2潜在空间中的未来帧。通过利用预训练的图像编码器，并在大规模、未经整理的视频数据集上训练未来预测器，DINO-world学习了各种场景的时间动态，从驾驶和室内场景到模拟环境。实验表明，DINO-world在各种视频预测基准测试中优于先前的模型，例如分割和深度预测，并展示了对直观物理学的强大理解。此外，本文还证明了可以在观察-动作轨迹上微调预测器。由此产生的动作条件世界模型可以通过模拟潜在空间中的候选轨迹用于规划。

🔬 方法详解

问题定义：视频世界模型旨在预测未来帧，从而理解环境动态并支持规划。现有方法在处理复杂、多样的真实世界视频时，泛化能力不足，难以捕捉长期依赖关系，并且计算成本高昂。

核心思路：本文的核心思路是利用预训练的DINOv2图像编码器提取视频帧的强大视觉特征，然后在DINOv2的潜在空间中学习时间动态。DINOv2提供了丰富的语义信息和良好的泛化能力，使得模型能够更好地理解和预测复杂场景。通过在潜在空间中进行预测，可以降低计算复杂度，并提高模型的鲁棒性。

技术框架：DINO-world的整体框架包括两个主要模块：预训练的DINOv2图像编码器和一个未来预测器。首先，使用DINOv2将视频帧编码到潜在空间中。然后，未来预测器接收一系列潜在向量作为输入，并预测未来若干帧的潜在向量。该预测器通常是一个循环神经网络（RNN）或Transformer网络。最后，可以使用DINOv2的解码器将预测的潜在向量转换回像素空间，以生成预测的视频帧。

关键创新：DINO-world的关键创新在于将预训练的自监督学习模型DINOv2作为视频世界模型的基础。DINOv2提供了强大的视觉表征能力，使得模型能够更好地理解场景内容和动态。此外，通过在DINOv2的潜在空间中进行预测，可以降低计算复杂度，并提高模型的泛化能力。与直接在像素空间进行预测的模型相比，DINO-world能够更好地捕捉视频中的语义信息和长期依赖关系。

关键设计：未来预测器可以使用不同的网络结构，例如LSTM或Transformer。损失函数通常采用L2损失或感知损失，用于衡量预测的潜在向量与真实潜在向量之间的差异。为了提高模型的鲁棒性，可以使用数据增强技术，例如随机裁剪、颜色抖动等。在训练过程中，可以使用teacher forcing技术，即在训练时将真实的潜在向量作为未来预测器的输入，以加速收敛。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DINO-world在多个视频预测基准测试中取得了显著的性能提升。例如，在分割和深度预测任务上，DINO-world优于先前的模型。此外，DINO-world还展示了对直观物理学的强大理解，能够预测物体的运动轨迹和相互作用。通过在观察-动作轨迹上微调预测器，DINO-world可以用于规划，模拟潜在空间中的候选轨迹。

🎯 应用场景

DINO-world具有广泛的应用前景，包括自动驾驶、机器人导航、游戏AI等领域。它可以用于预测车辆周围环境的变化，帮助机器人规划运动轨迹，以及生成逼真的游戏场景。此外，DINO-world还可以用于视频压缩、视频编辑等任务，通过预测未来帧来减少存储空间和提高编辑效率。

📄 摘要（原文）

We present DINO-world, a powerful generalist video world model trained to predict future frames in the latent space of DINOv2. By leveraging a pre-trained image encoder and training a future predictor on a large-scale uncurated video dataset, DINO-world learns the temporal dynamics of diverse scenes, from driving and indoor scenes to simulated environments. We show that DINO-world outperforms previous models on a variety of video prediction benchmarks, e.g. segmentation and depth forecasting, and demonstrates strong understanding of intuitive physics. Furthermore, we show that it is possible to fine-tune the predictor on observation-action trajectories. The resulting action-conditioned world model can be used for planning by simulating candidate trajectories in latent space.