Understanding World or Predicting Future? A Comprehensive Survey of World Models
作者: Jingtao Ding, Yunke Zhang, Yu Shang, Jie Feng, Yuheng Zhang, Zefang Zong, Yuan Yuan, Hongyuan Su, Nian Li, Jinghua Piao, Yucheng Deng, Nicholas Sukiennik, Chen Gao, Fengli Xu, Yong Li
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-11-21 (更新: 2025-12-10)
备注: Extended version of the original ACM CSUR paper, 49 pages, 6 figures, 8 tables
🔗 代码/项目: GITHUB
💡 一句话要点
世界模型综述：理解世界表征与预测未来动态
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 世界模型 表征学习 未来预测 通用人工智能 综述 深度学习 强化学习
📋 核心要点
- 现有方法在构建通用人工智能时，缺乏对世界状态的有效理解和未来动态的准确预测。
- 论文系统性地将世界模型分为两类：理解世界机制的内部表征构建和预测未来状态的模拟决策指导。
- 通过对生成游戏、自动驾驶、机器人和社会模拟等领域的应用分析，展示了世界模型在不同场景下的潜力。
📝 摘要（中文）
随着GPT-4等多模态大型语言模型以及Sora等视频生成模型的进步，世界模型这一概念受到了广泛关注，它们是实现通用人工智能的核心。本综述全面回顾了关于世界模型的文献。通常，世界模型被认为是理解世界当前状态或预测其未来动态的工具。本综述对世界模型进行了系统分类，强调了两个主要功能：(1) 构建内部表征以理解世界的机制；(2) 预测未来状态以模拟和指导决策。首先，我们考察了这两个类别中的最新进展。然后，我们探讨了世界模型在关键领域的应用，包括生成式游戏、自动驾驶、机器人和社交模拟，重点关注每个领域如何利用这些方面。最后，我们概述了关键挑战，并提供了对潜在未来研究方向的见解。我们在https://github.com/tsinghua-fib-lab/World-Model中总结了代表性论文及其代码仓库。
🔬 方法详解
问题定义：现有方法在处理复杂环境时，难以构建有效的世界模型，从而限制了人工智能的泛化能力和决策水平。尤其是在需要长期规划和预测的场景下，传统方法往往无法准确捕捉环境的动态变化，导致决策失误。现有方法的痛点在于缺乏对世界状态的深度理解和对未来动态的精确预测能力。
核心思路：论文的核心思路是将世界模型划分为两个主要功能：一是构建内部表征以理解世界的机制，二是预测未来状态以模拟和指导决策。通过这种分类，可以更清晰地理解不同世界模型的侧重点和适用场景。这种设计旨在为研究人员提供一个更全面的视角，从而更好地选择和应用世界模型。
技术框架：该综述首先对世界模型的概念和发展历程进行了概述，然后将其分为两大类：基于理解的表征学习和基于预测的动态模拟。接着，论文深入探讨了世界模型在生成式游戏、自动驾驶、机器人和社会模拟等领域的应用。最后，论文总结了当前世界模型面临的挑战，并提出了未来研究方向的展望。整体框架清晰，逻辑严谨。
关键创新：该综述的关键创新在于对现有世界模型进行了系统性的分类和总结，强调了理解世界机制和预测未来状态这两个核心功能。与以往的综述相比，该论文更加注重对世界模型在不同领域的应用进行分析，并提出了对未来研究方向的展望。这种分类和分析有助于研究人员更好地理解世界模型的本质和应用。
关键设计：论文的关键设计在于对世界模型的分类框架，将模型分为理解世界机制和预测未来状态两大类。这种分类方式有助于研究人员更好地理解不同模型的侧重点和适用场景。此外，论文还对世界模型在不同领域的应用进行了深入分析，并提出了对未来研究方向的展望。这些设计使得该综述具有很高的参考价值。
🖼️ 关键图片
📊 实验亮点
该综述系统性地总结了世界模型的研究进展，并提供了详细的文献列表和代码仓库链接。通过对不同领域应用的分析，展示了世界模型在提升AI决策能力和泛化性能方面的潜力。该综述为研究人员提供了一个全面的视角，有助于更好地理解世界模型的本质和应用。
🎯 应用场景
世界模型的研究成果可广泛应用于游戏AI、自动驾驶、机器人控制、社交行为模拟等领域。通过构建更精确的世界模型，可以提升AI在复杂环境中的决策能力和泛化性能，从而实现更智能、更自主的系统。未来，世界模型有望成为通用人工智能的关键组成部分。
📄 摘要（原文）
The concept of world models has garnered significant attention due to advancements in multimodal large language models such as GPT-4 and video generation models such as Sora, which are central to the pursuit of artificial general intelligence. This survey offers a comprehensive review of the literature on world models. Generally, world models are regarded as tools for either understanding the present state of the world or predicting its future dynamics. This review presents a systematic categorization of world models, emphasizing two primary functions: (1) constructing internal representations to understand the mechanisms of the world, and (2) predicting future states to simulate and guide decision-making. Initially, we examine the current progress in these two categories. We then explore the application of world models in key domains, including generative games, autonomous driving, robotics, and social simulacra, with a focus on how each domain utilizes these aspects. Finally, we outline key challenges and provide insights into potential future research directions. We summarize the representative papers along with their code repositories in https://github.com/tsinghua-fib-lab/World-Model.