WorldAgents: Can Foundation Image Models be Agents for 3D World Models?

📄 arXiv: 2603.19708v1 📥 PDF

作者: Ziya Erkoç, Angela Dai, Matthias Nießner

分类: cs.CV

发布日期: 2026-03-20

备注: Webpage: https://ziyaerkoc.com/worldagents/ Video: https://www.youtube.com/watch?v=Mj2FqqhurdI

💡 一句话要点

WorldAgents：利用2D基础图像模型构建3D世界模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D世界建模 基础图像模型 视觉语言模型 多Agent系统 图像生成 3D重建 虚拟现实

📋 核心要点

  1. 现有方法难以有效利用2D基础模型进行3D世界建模，缺乏统一的框架。
  2. 提出一种基于多Agent的框架，利用VLM指导图像生成，并进行两步验证。
  3. 实验证明，该方法能够利用2D模型合成具有3D一致性的广阔场景。

📝 摘要（中文）

本文研究了一个根本性问题：2D基础图像模型是否天生具备3D世界建模能力？为了解答这个问题，我们系统地评估了多个最先进的图像生成模型和视觉语言模型（VLMs）在3D世界合成任务上的表现。为了利用和评估它们潜在的隐式3D能力，我们提出了一种基于Agent的框架来促进3D世界的生成。我们的方法采用了一种多Agent架构：一个基于VLM的导演，负责制定提示来指导图像合成；一个生成器，负责合成新的图像视角；以及一个VLM支持的两步验证器，负责评估和选择性地管理从2D图像和3D重建空间生成的帧。至关重要的是，我们证明了我们的Agent方法提供了连贯且鲁棒的3D重建，生成可以通过渲染新视角来探索的输出场景。通过对各种基础模型进行广泛的实验，我们证明了2D模型确实封装了对3D世界的理解。通过利用这种理解，我们的方法成功地合成了广阔、逼真且3D一致的世界。

🔬 方法详解

问题定义：论文旨在解决如何利用现有的2D基础图像模型，例如Stable Diffusion等，来构建一致且逼真的3D世界模型的问题。现有方法通常需要大量的3D数据进行训练，或者难以保证生成结果的3D一致性，缺乏一个有效的框架来充分挖掘2D模型中蕴含的3D信息。

核心思路：论文的核心思路是将3D世界建模问题转化为一个多Agent协作的问题。通过引入一个“导演”Agent（基于VLM）来制定生成图像的提示，一个“生成器”Agent（图像生成模型）来合成图像，以及一个“验证器”Agent（基于VLM）来评估和筛选生成的图像，从而实现对3D世界的探索和构建。这种Agent框架能够有效地利用2D模型的生成能力，并保证生成结果的3D一致性。

技术框架：整体框架包含三个主要模块：1) 导演Agent：基于VLM，负责根据当前场景状态生成图像合成的提示。2) 生成器Agent：利用图像生成模型（如Stable Diffusion）根据导演Agent的提示生成新的图像视角。3) 验证器Agent：采用两步验证策略，首先在2D图像空间评估生成图像的质量和一致性，然后在3D重建空间评估重建结果的3D一致性，并选择性地保留高质量的图像帧。整个流程迭代进行，逐步构建出完整的3D世界模型。

关键创新：论文的关键创新在于提出了一个基于Agent的框架，将3D世界建模问题分解为多个Agent的协作任务。这种Agent框架能够有效地利用2D基础图像模型的生成能力，并通过验证器Agent保证生成结果的3D一致性。此外，两步验证策略也提高了生成结果的质量和鲁棒性。

关键设计：导演Agent使用VLM（例如GPT-3）来生成提示，提示的内容包括场景描述、视角信息等。生成器Agent可以使用各种图像生成模型，论文中实验了多种模型。验证器Agent使用VLM来评估图像的质量和一致性，并使用3D重建算法（例如COLMAP）来评估重建结果的3D一致性。损失函数主要用于指导生成器Agent的训练，可以包括图像质量损失、3D一致性损失等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够利用2D基础图像模型成功合成广阔、逼真且3D一致的世界模型。与直接使用2D模型进行3D重建的方法相比，该方法能够显著提高重建结果的质量和一致性。通过对多种基础模型进行实验，验证了该方法的有效性和泛化能力。

🎯 应用场景

该研究成果可应用于虚拟现实、游戏开发、机器人导航等领域。例如，可以利用该方法快速生成逼真的虚拟环境，为VR用户提供沉浸式体验。在游戏开发中，可以自动生成游戏场景，降低开发成本。在机器人导航中，可以帮助机器人理解周围环境，提高导航的准确性和鲁棒性。

📄 摘要（原文）

Given the remarkable ability of 2D foundation image models to generate high-fidelity outputs, we investigate a fundamental question: do 2D foundation image models inherently possess 3D world model capabilities? To answer this, we systematically evaluate multiple state-of-the-art image generation models and Vision-Language Models (VLMs) on the task of 3D world synthesis. To harness and benchmark their potential implicit 3D capability, we propose an agentic framing to facilitate 3D world generation. Our approach employs a multi-agent architecture: a VLM-based director that formulates prompts to guide image synthesis, a generator that synthesizes new image views, and a VLM-backed two-step verifier that evaluates and selectively curates generated frames from both 2D image and 3D reconstruction space. Crucially, we demonstrate that our agentic approach provides coherent and robust 3D reconstruction, producing output scenes that can be explored by rendering novel views. Through extensive experiments across various foundation models, we demonstrate that 2D models do indeed encapsulate a grasp of 3D worlds. By exploiting this understanding, our method successfully synthesizes expansive, realistic, and 3D-consistent worlds.