The Trinity of Consistency as a Defining Principle for General World Models
作者: Jingxuan Wei, Siyuan Li, Yuhang Xu, Zheng Sun, Junjie Jiang, Hexuan Jin, Caijun Jia, Honghao He, Xinglong Xu, Xi bai, Chang Yu, Yumou Liu, Junnan Zhu, Xuanhe Zhou, Jintao Chen, Xiaobin Hu, Shancheng Pang, Bihui Yu, Ran He, Zhen Lei, Stan Z. Li, Conghui He, Shuicheng Yan, Cheng Tan
分类: cs.AI
发布日期: 2026-02-26
备注: 119 pages, 50 figures
💡 一句话要点
提出通用世界模型的“一致性三位一体”原则，并构建多帧推理与生成基准CoW-Bench。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 世界模型 一致性三位一体 多模态学习 视频生成 多帧推理
📋 核心要点
- 现有世界模型缺乏一个明确的理论框架，难以定义通用世界模型所需的关键属性。
- 论文提出“一致性三位一体”原则，即模态、空间和时间一致性，作为通用世界模型的基础。
- 构建了CoW-Bench基准，用于评估视频生成模型和统一多模态模型在多帧推理和生成任务上的性能。
📝 摘要（中文）
构建能够学习、模拟和推理客观物理定律的世界模型是实现通用人工智能的基础性挑战。以Sora为代表的视频生成模型展示了数据驱动的缩放定律在逼近物理动态方面的潜力，而新兴的统一多模态模型（UMM）为整合感知、语言和推理提供了一种有前景的架构范式。尽管取得了这些进展，但该领域仍然缺乏一个原则性的理论框架来定义通用世界模型所需的必要属性。本文提出，世界模型必须基于一致性三位一体：模态一致性作为语义接口，空间一致性作为几何基础，以及时间一致性作为因果引擎。通过这个三方视角，我们系统地回顾了多模态学习的演变，揭示了从松散耦合的专用模块到统一架构的轨迹，这些架构能够协同地涌现内部世界模拟器。为了补充这个概念框架，我们引入了CoW-Bench，这是一个以多帧推理和生成场景为中心的基准。CoW-Bench在统一的评估协议下评估视频生成模型和UMM。我们的工作为通用世界模型建立了一条原则性的途径，阐明了当前系统的局限性以及未来进步的架构要求。
🔬 方法详解
问题定义：当前世界模型的研究缺乏一个统一的理论框架，导致模型设计和评估缺乏明确的指导原则。现有方法往往侧重于特定模态或任务，难以实现通用性和可扩展性。此外，如何有效整合不同模态的信息，并保证模型在时空维度上的推理一致性，仍然是亟待解决的问题。
核心思路：论文的核心思路是将通用世界模型的能力分解为三个关键的一致性维度：模态一致性、空间一致性和时间一致性。模态一致性保证模型能够理解和关联不同模态的信息；空间一致性保证模型能够理解和推理场景的几何结构；时间一致性保证模型能够理解和预测事件的因果关系。通过强调这三个一致性，论文旨在为通用世界模型的设计和评估提供一个清晰的理论框架。
技术框架：论文的主要技术框架包括两个部分：一是“一致性三位一体”原则的提出，作为理论指导；二是CoW-Bench基准的构建，用于实验验证。CoW-Bench包含多帧推理和生成任务，旨在评估模型在不同一致性维度上的表现。该基准提供了一个统一的评估协议，可以用于比较不同模型，并分析其优缺点。
关键创新：论文最重要的技术创新点在于提出了“一致性三位一体”原则，将通用世界模型的能力分解为三个可量化的维度。这一原则为模型设计和评估提供了一个新的视角，有助于推动通用世界模型的研究进展。此外，CoW-Bench基准的构建也为该领域提供了一个有价值的资源，可以促进不同模型之间的比较和分析。
关键设计：CoW-Bench基准的设计考虑了多种因素，包括场景的复杂性、任务的多样性和评估指标的合理性。基准包含多个数据集，涵盖不同的场景和任务，例如视频预测、场景理解和因果推理。评估指标包括生成质量、推理准确性和一致性得分。具体参数设置和网络结构的选择取决于被评估的模型。
📊 实验亮点
论文提出了CoW-Bench基准，并在该基准上评估了现有的视频生成模型和统一多模态模型。实验结果表明，现有模型在多帧推理和生成任务上仍然存在局限性，尤其是在保证时空一致性方面。CoW-Bench的评估结果为未来模型的设计提供了重要的参考。
🎯 应用场景
该研究成果可应用于机器人、自动驾驶、游戏AI等领域。通过构建更强大的世界模型，可以使机器人更好地理解和适应环境，从而实现更智能的决策和行为。在自动驾驶领域，可以提高车辆对复杂交通场景的理解和预测能力，从而提高安全性。在游戏AI领域，可以创造更逼真和智能的游戏角色，从而提升游戏体验。
📄 摘要（原文）
The construction of World Models capable of learning, simulating, and reasoning about objective physical laws constitutes a foundational challenge in the pursuit of Artificial General Intelligence. Recent advancements represented by video generation models like Sora have demonstrated the potential of data-driven scaling laws to approximate physical dynamics, while the emerging Unified Multimodal Model (UMM) offers a promising architectural paradigm for integrating perception, language, and reasoning. Despite these advances, the field still lacks a principled theoretical framework that defines the essential properties requisite for a General World Model. In this paper, we propose that a World Model must be grounded in the Trinity of Consistency: Modal Consistency as the semantic interface, Spatial Consistency as the geometric basis, and Temporal Consistency as the causal engine. Through this tripartite lens, we systematically review the evolution of multimodal learning, revealing a trajectory from loosely coupled specialized modules toward unified architectures that enable the synergistic emergence of internal world simulators. To complement this conceptual framework, we introduce CoW-Bench, a benchmark centered on multi-frame reasoning and generation scenarios. CoW-Bench evaluates both video generation models and UMMs under a unified evaluation protocol. Our work establishes a principled pathway toward general world models, clarifying both the limitations of current systems and the architectural requirements for future progress.