OverSeer: Multi-Agent World Models Beyond What Agents See
作者: Runjia Li, Kam Woh Ng, Minghao Chen, Junlin Han, Jianyuan Wang, Zhaochong An, Juan-Manuel Perez-Rua, Andrea Vedaldi, Shikun Liu
分类: cs.CV
发布日期: 2026-10-20
💡 一句话要点
提出OverSeer以解决多智能体世界模型一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 多智能体系统 世界模型 视频理解 辅助视图 delta-VAE 一致性 计算效率
📋 核心要点
- 现有视频世界模型在多智能体场景中难以保持时间和空间一致性，导致生成的视图不可靠。
- OverSeer通过固定辅助摄像头视图，提供了一种世界中心的表示方式，从而增强了智能体的视图一致性。
- 在Minecraft和Doom的实验中，OverSeer显著提高了世界和智能体的一致性，且在真实场景中也表现出色。
📝 摘要（中文）
尽管视频世界模型取得了成功，但将其扩展到多个智能体面临挑战，因为这需要生成多个时间一致且相互关联的智能体特定视频流。为了解决这一问题，本文提出了OverSeer，一个通过辅助摄像头视图增强自我中心智能体视图的多智能体世界模型。我们认为，通过将辅助视图固定在空间中，它们可以作为世界中心表示的代理。与智能体视图不同，辅助视图的变化直接映射到世界状态的局部变化。实验结果表明，该方法在Minecraft和Doom中显著改善了世界和智能体的一致性，并且在真实世界的多摄像头捕获中也表现出良好的效果。我们的压缩分析进一步表明，delta-VAE显著降低了辅助视图生成的计算开销。
🔬 方法详解
问题定义：本文旨在解决多智能体世界模型中视图一致性的问题。现有方法在生成多个智能体特定视频流时，难以保持时间和空间的一致性，导致模型性能下降。
核心思路：OverSeer通过引入固定的辅助摄像头视图，作为世界中心的代理表示，增强了自我中心智能体视图的稳定性。这种设计使得辅助视图的变化能够直接反映世界状态的局部变化，从而提高一致性。
技术框架：整体架构包括自我中心视图生成模块和辅助视图生成模块。辅助视图通过delta-VAE进行压缩，仅编码相对于静态参考图像的变化，从而减少处理所需的token数量。
关键创新：最重要的创新在于引入固定的辅助视图作为世界中心表示，解决了多智能体视图一致性的问题。这一方法与现有的动态视图生成方法本质上不同，后者往往难以保持一致性。
关键设计：在模型设计中，使用了delta-VAE来高效压缩辅助视图，减少了计算开销。具体参数设置和损失函数设计未在摘要中详细说明，需参考论文的具体内容。
🖼️ 关键图片
📊 实验亮点
实验结果显示，OverSeer在Minecraft和Doom中显著提高了世界和智能体的一致性，具体性能提升未在摘要中提供。压缩分析表明，delta-VAE在辅助视图生成中显著降低了计算开销，提升了模型的效率。
🎯 应用场景
该研究的潜在应用领域包括多智能体系统的协作与决策、虚拟现实环境中的智能体交互以及机器人导航等。通过提高多智能体世界模型的一致性，OverSeer能够在复杂环境中实现更可靠的智能体行为，具有重要的实际价值和未来影响。
📄 摘要（原文）
Despite the success of video world models, extending them to multiple agents is difficult because it requires generating several agent-specific video streams that are consistent in time and between agents. To address this gap, we introduce OverSeer, a multi-agent world model that augments egocentric agent views with auxiliary camera views. We suggest that, by fixing the auxiliary views in space, they act as a proxy for a world-centric representation: Unlike the agents' views, which can change entirely due to a simple change in agent position, changes in the auxiliary views directly map to localized changes in the world state. We show that these fixed views substantially help the model to maintain consistency. We also show that, due to their redundant and semi-static nature, the auxiliary views can be efficiently compressed with a delta-VAE that encodes only the changes relative to a static reference image, reducing the number of tokens required to process them. Experiments in Minecraft and Doom demonstrate improved world and agent consistency, with qualitative results on real-world multi-camera captures indicating that the approach is not tied to game engines. Our compression analysis further shows that delta-VAE substantially reduces the computational overhead of auxiliary-view generation. We conclude that these fixed views provide a simple and efficient way to improve multi-agent world models.