WorldCast: Distributed Multiplayer World Models

📄 arXiv: 2610.12412v1 📥 PDF

作者: Ziyang Ye, Junchao Huang, Evelyn Zhang, Zhihao Xie, Ruicheng Zhang, Boyao Han, Litao Ban, Ziye Wang, Xinting Hu, Shaoshuai Shi, Zhuotao Tian, Li Jiang

分类: cs.CV

发布日期: 2026-10-08

备注: 31 pages, 19 figures, 20 tables. Project page: https://ziyang-ye.github.io/WorldCast-Page

💡 一句话要点

提出WorldCast以解决多玩家世界模型生成的效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多玩家游戏 世界模型 分布式系统 实时渲染 视觉一致性 状态模型 视频生成

📋 核心要点

  1. 现有的多玩家世界模型在生成过程中面临效率低下的问题，尤其是在玩家数量增加时，计算成本显著上升。
  2. WorldCast通过让每个玩家运行本地客户端，利用状态模型和视频生成器独立生成视图，从而实现高效的多玩家协作。
  3. 实验结果显示，WorldCast在玩家渲染速率上提升超过一个数量级，并在整个回合中保持视觉一致性，且每个客户端实时运行。

📝 摘要（中文）

多玩家世界模型必须生成独立控制的视图，并保持玩家与共享环境的一致表示。现有方法通过联合多视图生成来协调多个玩家，但其成本随着玩家数量的增加而增长。本文提出WorldCast，一种分布式多玩家世界模型，每个玩家运行一个本地客户端，包括视频生成器和状态模型。通过在训练过程中记录玩家位置和地图几何，状态模型能够从生成的视频和控制输入中估计玩家的位置。客户端之间交换玩家状态，并将其投影到相机对齐的玩家状态场中，从而指导其他玩家的渲染。共享场景状态使客户端能够重用彼此生成的观察，以保持视图间的一致性。实验结果表明，WorldCast在Counter-Strike 2中的一致性、实时性能和分布式可扩展性表现优异。

🔬 方法详解

问题定义：本文旨在解决多玩家世界模型生成中的效率问题，现有方法在玩家数量增加时计算成本显著上升，导致性能瓶颈。

核心思路：WorldCast的核心思路是让每个玩家独立运行本地客户端，通过状态模型和视频生成器生成视图，避免了集中式计算的瓶颈。

技术框架：WorldCast的整体架构包括本地客户端、视频生成器和状态模型。客户端记录玩家位置和地图几何，利用这些信息生成视频并估计玩家状态。客户端之间交换状态信息，并将其投影到相机对齐的玩家状态场中。

关键创新：WorldCast的主要创新在于通过共享场景状态和相机对齐的玩家状态场，实现了高效的多玩家视图生成。这一设计与现有的联合生成方法本质上不同，显著降低了计算成本。

关键设计：在设计中，客户端仅交换玩家和场景状态，避免了大量数据传输。损失函数和网络结构的具体细节未在摘要中明确，但可以推测其优化了生成质量与计算效率的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WorldCast在Counter-Strike 2中的玩家渲染速率提升超过一个数量级，相较于联合生成方法，视觉一致性在整个回合中得到了显著改善。每个客户端能够实时运行，确保了系统的可扩展性。

🎯 应用场景

该研究的潜在应用领域包括在线游戏、虚拟现实和增强现实等多玩家交互场景。通过提高多玩家环境中的生成效率，WorldCast能够支持更大规模的用户参与，提升用户体验，并推动相关技术的发展。

📄 摘要（原文）

Multiplayer world models must generate independently controlled views with consistent representations of both players and their shared environment. Most existing approaches coordinate multiple players through joint multi-view generation, whose cost grows with each additional player. We present WorldCast, a distributed multiplayer world model in which each player runs a local client comprising a video generator and a state model. Using recorded player positions and map geometry during training, the state model estimates the player's position from generated video and control inputs. Clients exchange player states and project them into camera-aligned player state fields that guide where and how other players are rendered. Shared scene state enables clients to reuse one another's generated observations to maintain consistent scene appearance across views. Experiments on Counter-Strike 2 demonstrate WorldCast's consistency, real-time performance, and distributed scalability. The camera-aligned player state field improves player rendering rates by over an order of magnitude over joint-generation methods, while shared scene state improves visual consistency over whole rounds. Each client runs in real time and exchanges only player and scene states, enabling scalable multiplayer generation without a centralized computational bottleneck. Image quality remains stable over hour-long rollouts.