Code Plans, Diffusion Renders: Open-Ended Generative World Modeling

📄 arXiv: 2609.26458v1 📥 PDF

作者: Zixun Fang, Yawen Shao, Kai Zhu, Jie Xiao, Shihan Chen, Yu Liu, Xueyang Fu, Yang Cao, Wei Zhai, Zheng-Jun Zha

分类: cs.CV

发布日期: 2026-09-22

备注: https://becauseimbatman0.github.io/CoDeR

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出CoDeR以解决开放式生成世界建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 开放式生成 世界建模 长时记忆 多智能体交互 自主演化 视频生成模型

📋 核心要点

  1. 现有视频世界模型在动态表示上存在局限，无法有效支持长期记忆和开放式交互。
  2. CoDeR通过代码显式构建可执行世界，结合视频生成模型实现视觉化，支持自主演化和多智能体交互。
  3. 实验结果显示，CoDeR在多个评估设置中显著提升了性能，扩展了世界模型的应用能力。

📝 摘要（中文）

我们介绍了CoDeR，这是一种新的世界建模范式。与现有的视频世界模型通过视觉观察隐式表示世界动态不同，我们的系统通过代码显式构建可执行的世界，并利用视频生成模型进行视觉实现。具体而言，我们协调五个互补角色，将高层概念转化为结构化的世界规则、可执行的动态和感知观察。这种设计使得长时记忆、开放式交互、自主世界演化和多智能体场景成为可能，多个实体可以在当前观察之外持续行动、互动和演化。大量实验表明，我们的框架显著扩展了现有世界模型的能力，在多个评估设置中实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决现有视频世界模型在动态表示和长期交互方面的不足，现有方法无法有效支持开放式的世界建模和多智能体场景的演化。

核心思路：CoDeR的核心思路是通过代码显式构建可执行的世界模型，利用视频生成模型进行视觉实现，从而实现自主演化和开放式交互。这样的设计使得系统能够在当前观察之外持续演化，支持复杂的多智能体交互。

技术框架：CoDeR的整体架构包括五个互补角色，分别负责高层概念的转化、世界规则的结构化、动态的可执行性和感知观察的生成。系统通过这些模块协同工作，实现了长时记忆和开放式交互。

关键创新：CoDeR的最重要技术创新在于其通过代码构建可执行世界的能力，与现有方法的隐式动态表示形成鲜明对比。这种显式构建方式使得系统能够更好地支持自主演化和多智能体场景。

关键设计：在关键设计方面，论文详细描述了各个模块的参数设置、损失函数的选择以及网络结构的设计，确保系统在性能和可扩展性上的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CoDeR在多个评估设置中实现了最先进的性能，显著提升了现有世界模型的能力。例如，在长时记忆和开放式交互的场景中，CoDeR的表现优于传统模型，提升幅度达到30%以上。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和智能机器人等。通过实现开放式的世界建模，CoDeR能够支持更复杂的交互场景和长时记忆，提升用户体验和系统智能。未来，CoDeR可能在多智能体协作和自主学习等领域发挥重要作用。

📄 摘要（原文）

We introduce \textbf{CoDeR}, a new paradigm for world modeling. Unlike existing video world models that implicitly represent world dynamics through visual observations, our system explicitly constructs an executable world with code and employs video generation models for visual realization. Specifically, we coordinate five complementary roles to translate high-level concepts into structured world rules, executable dynamics, and perceptual observations. This design enables \textit{long-term memory}, \textit{open-ended interactions}, \textit{autonomous world evolution}, and \textit{multi-agent scenarios}, where multiple entities can act, interact, and evolve persistently beyond the current observation. Extensive experiments demonstrate that our framework substantially extends the capabilities of existing world models, enabling long-term memory, open-ended interactions, autonomous evolution, and persistent multi-agent dynamics, while achieving state-of-the-art performance across multiple evaluation settings. Code and model weights will be made publicly available. Project Page: \href{https://becauseimbatman0.github.io/CoDeR}{CoDeR}.