Vid2World: Crafting Video Diffusion Models to Interactive World Models

📄 arXiv: 2505.14357v2 📥 PDF

作者: Siqiao Huang, Jialong Wu, Qixing Zhou, Shangchen Miao, Mingsheng Long

分类: cs.CV, cs.LG

发布日期: 2025-05-20 (更新: 2025-09-27)

备注: Project page: http://knightnemo.github.io/vid2world/

💡 一句话要点

Vid2World：利用视频扩散模型构建交互式世界模型

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 视频扩散模型 因果推断 自回归生成 动作引导 机器人控制 游戏AI

📋 核心要点

  1. 现有世界模型需要大量领域特定训练，预测结果粗糙，难以应用于复杂环境。
  2. Vid2World通过视频扩散因果化，重塑预训练模型架构和目标，实现自回归生成，并引入因果动作引导。
  3. 实验表明，Vid2World在机器人操作、3D游戏和开放世界导航等领域表现出良好的可扩展性和有效性。

📝 摘要（中文）

世界模型通过预测过去观测和动作序列的未来状态转移，在序列决策中展现出提高数据效率的巨大潜力。然而，现有的世界模型通常需要大量的特定领域训练，并且仍然产生低保真、粗糙的预测，限制了它们在复杂环境中的应用。相比之下，在大规模互联网数据上训练的视频扩散模型在生成高质量视频方面表现出令人印象深刻的能力，能够捕捉到各种真实世界的动态。本文提出了Vid2World，一种通用方法，用于利用预训练的视频扩散模型并将其迁移到交互式世界模型中。为了弥合差距，Vid2World系统地探索了视频扩散因果化，重塑了预训练模型的架构和训练目标，以实现自回归生成。此外，它还结合了一种因果动作引导机制，以增强所得交互式世界模型中的动作可控性。在包括机器人操作、3D游戏模拟和开放世界导航在内的多个领域进行的大量实验表明，我们的方法为将高性能视频扩散模型重新用于交互式世界模型提供了一种可扩展且有效途径。

🔬 方法详解

问题定义：现有世界模型在复杂环境下的数据效率低，需要大量特定领域的训练，且预测结果保真度不高，难以捕捉真实世界的动态。因此，如何利用大规模数据预训练的视频扩散模型，构建更高效、更逼真的交互式世界模型是一个关键问题。

核心思路：Vid2World的核心思路是将预训练的视频扩散模型转化为交互式世界模型。通过对视频扩散模型进行因果化改造，使其能够进行自回归生成，并引入动作引导机制，增强模型对动作的控制能力，从而实现与环境的交互。

技术框架：Vid2World的整体框架包括以下几个主要步骤：1) 视频扩散模型因果化：对预训练的视频扩散模型进行改造，使其能够进行自回归生成。2) 动作引导机制：引入因果动作引导机制，增强模型对动作的控制能力。3) 模型训练：使用包含观测和动作序列的数据集对模型进行训练，使其能够预测未来的状态转移。

关键创新：Vid2World的关键创新在于系统地探索了视频扩散模型的因果化改造，并将其应用于交互式世界模型的构建。通过重塑预训练模型的架构和训练目标，使其能够进行自回归生成，并引入动作引导机制，增强了模型对动作的控制能力。这与现有方法需要从头训练世界模型，或者只能生成低保真预测有本质区别。

关键设计：在视频扩散模型因果化方面，论文可能采用了修改网络结构、调整损失函数等方法，具体细节未知。动作引导机制的具体实现方式也未知，可能涉及到将动作信息嵌入到扩散模型的生成过程中。具体的参数设置、损失函数和网络结构等技术细节在论文中可能有所描述，但此处无法详细展开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多个领域进行了实验，包括机器人操作、3D游戏模拟和开放世界导航。实验结果表明，Vid2World能够有效地将预训练的视频扩散模型转化为交互式世界模型，并在这些领域取得了显著的性能提升。具体的性能数据和提升幅度在摘要中未提及，需要查阅论文全文。

🎯 应用场景

Vid2World具有广泛的应用前景，例如机器人控制、游戏AI、自动驾驶等领域。它可以帮助机器人更好地理解环境，并根据动作预测未来的状态，从而实现更智能的决策和控制。在游戏AI中，Vid2World可以生成更逼真的游戏世界，并使AI角色能够与环境进行更自然的交互。在自动驾驶领域，Vid2World可以帮助车辆预测周围环境的变化，从而提高驾驶安全性。

📄 摘要（原文）

World models, which predict future transitions from past observation and action sequences, have shown great promise for improving data efficiency in sequential decision-making. However, existing world models often require extensive domain-specific training and still produce low-fidelity, coarse predictions, limiting their usefulness in complex environments. In contrast, video diffusion models trained on large-scale internet data have demonstrated impressive capabilities in generating high-quality videos that capture diverse real-world dynamics. In this work, we present Vid2World, a general approach for leveraging and transferring pre-trained video diffusion models into interactive world models. To bridge the gap, Vid2World systematically explores video diffusion causalization, reshaping both the architecture and training objective of pre-trained models to enable autoregressive generation. Additionally, it incorporates a causal action guidance mechanism to enhance action controllability in the resulting interactive world models. Extensive experiments across multiple domains, including robot manipulation, 3D game simulation, and open-world navigation, demonstrate that our method offers a scalable and effective pathway for repurposing highly capable video diffusion models into interactive world models.