Why Do Conventional World Models Fail to Learn Cellular Automata?
作者: Shaoyang Guo, Ziming Liu
分类: cs.AI
发布日期: 2026-09-30
备注: 35 pages, 18 figures. Code and reproduction materials: https://github.com/guoshaoyang-pku/momentum-induction
💡 一句话要点
提出改进方案以解决传统世界模型无法学习细胞自动机的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 细胞自动机 世界模型 信息流优化 空间局部性 时间局部性 时间稳定性 深度学习 模型改进
📋 核心要点
- 现有的传统世界模型在学习细胞自动机的确切动态时存在显著不足，尽管它们在像素预测上表现良好。
- 论文提出了三种改进方法，分别通过优化信息流来修复模型在空间和时间局部性及稳定性上的缺陷。
- 实验结果显示，改进后的模型在不同任务上取得了显著提升，例如在生命游戏中，准确率从39.1%提升至100%。
📝 摘要（中文）
尽管传统世界模型（基于自回归或扩散模型的变换器或卷积网络）能够学习世界动态的表面统计特征，但它们在从观察历史中学习确切的世界动态方面存在局限性。通过细胞自动机作为测试平台，研究发现传统架构在预测像素时表现良好，但在完整回滚方面表现不佳。为了解决这一问题，论文提出了三种简单的改进方法，分别针对空间局部性、时间局部性和时间稳定性进行优化，显著提高了模型的性能。
🔬 方法详解
问题定义：论文旨在解决传统世界模型无法有效学习细胞自动机的确切动态问题。现有方法在像素预测上表现良好，但在完整回滚时的成功率极低，显示出其在捕捉空间和时间特性方面的不足。
核心思路：论文的核心思路是通过简单的设计修改，优化信息流，从而提升模型对空间局部性、时间局部性和时间稳定性的捕捉能力。这样的设计使得模型能够更准确地模拟细胞自动机的动态行为。
技术框架：整体架构基于传统的变换器和扩散模型，主要模块包括输入层、信息流优化层和输出层。通过对信息流的调整，模型能够更好地捕捉细胞之间的相互关系和动态变化。
关键创新：论文的主要创新在于提出了三种针对性改进，分别是：使用二维旋转位置来增强空间局部性、为每个token分配其前一帧邻域以提升时间局部性，以及通过因果冻结来增强时间稳定性。这些改进不涉及架构的根本变化，而是优化了信息流。
关键设计：在参数设置上，针对不同的细胞自动机规则，调整了模型的输入格式和信息流路径。损失函数设计上，强调了时间和空间一致性，以确保模型在学习过程中能够更好地捕捉动态特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，改进后的模型在生命游戏中准确率从39.1%提升至100%，在未见规则的情况下，时间局部性提升从25.8%到99.9%，时间稳定性提升从42.2%到99.9%。这些结果表明，简单的信息流优化可以显著提高模型的性能。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、智能交通系统和复杂系统模拟等。通过改进世界模型的学习能力，可以在更复杂的环境中实现更高效的决策和预测，具有重要的实际价值和未来影响。
📄 摘要（原文）
Although conventional world models - auto-regressive or diffusion models based on transformers or convolutional networks - may learn surface statistics of world dynamics, can they learn the exact world dynamics from its observed history? Leveraging cellular automata as a simple testbed, we find the answer to be no in many cases. Conventional architectures predict most pixels correctly yet rarely complete a rollout: a CNN predicts 96.3% of cells but completes 18.9% of rollouts; a joint diffusion model completes none. We trace the gap to three failure modes of these world models - namely, they fail to exactly capture spatial locality, temporal locality or temporal stability. Simple changes repair each: (1) for spatial locality, two-dimensional rotary positions lift a transformer from 39.1% to 100% on the Game of Life; (2) for temporal locality, handing each token its cell's previous-frame neighbourhood lifts the same transformer from 25.8% to 99.9% on unseen rules; (3) for temporal stability, causal freezing lifts the same diffusion weights from 42.2% to 99.9%. None of the three changes touches the architectural backbone; each only modifies the information flow within it. We also compare joint and ordered sampling on billiards and, in an exploratory study, on a simulated Burgers equation.