3D-Belief: Embodied Belief Inference via Generative 3D World Modeling
作者: Yifan Yin, Zehao Wen, Jieneng Chen, Zehan Zheng, Nanru Dai, Haojun Shi, Suyu Ye, Aydan Huang, Zheyuan Zhang, Alan Yuille, Jianwen Xie, Ayush Tewari, Tianmin Shu
分类: cs.CV
发布日期: 2026-05-12
💡 一句话要点
提出3D-Belief，通过生成式3D世界建模实现具身信念推理。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 具身智能 世界建模 信念推理 生成模型 3D场景理解
📋 核心要点
- 现有世界建模方法侧重于视觉真实感，忽略了具身智能体在部分可观察性下所需的结构化不确定性。
- 3D-Belief将世界建模视为3D空间中的具身信念推理，维护和更新智能体对未观察到的3D世界的信念。
- 实验表明，3D-Belief提高了2D和3D想象质量，并在模拟和真实世界的对象导航任务中优于现有方法。
📝 摘要（中文）
视觉生成模型的最新进展突显了学习生成世界模型的潜力。然而，现有方法大多将世界建模视为新视角合成或未来帧预测，侧重于视觉真实感，而非在部分可观察性下行动的具身智能体所需的结构化不确定性。本文提出了一种不同的视角：将世界建模视为3D空间中的具身信念推理。从这个角度来看，世界模型不应仅仅渲染可能看到的内容，而应在获取新观察结果时维护和更新智能体对未观察到的3D世界的信念。我们确定了此类模型的几个关键能力，包括空间一致的场景记忆、多假设信念采样、顺序信念更新以及语义感知的未见区域预测。我们将这些想法实例化为3D-Belief，这是一个生成式3D世界模型，它可以从部分观察中推断出显式的、可操作的3D信念，并随时间在线更新它们。与之前的视觉预测模型不同，3D-Belief直接在3D中表示不确定性，使具身智能体能够想象合理的场景补全，并在部分观察到的环境中进行推理。我们在场景记忆和未观察场景想象的2D视觉质量、使用我们提出的3D-CORE基准进行的对象和场景级3D想象以及模拟和真实世界中具有挑战性的对象导航任务上评估了3D-Belief。实验表明，与最先进的方法相比，3D-Belief提高了2D和3D想象质量以及下游具身任务的性能。
🔬 方法详解
问题定义：现有世界建模方法主要关注视觉真实感，例如新视角合成和未来帧预测，缺乏对不确定性的有效建模，难以支持具身智能体在部分可观察环境下的推理和决策。这些方法无法显式地表示和更新智能体对未观察到的3D世界的信念，限制了其在复杂环境中的应用。
核心思路：3D-Belief的核心思想是将世界建模问题重新定义为3D空间中的具身信念推理问题。通过显式地建模智能体对3D世界的信念，并随着新观测的获取不断更新这些信念，从而使智能体能够更好地理解和推理部分可观察的环境。这种方法强调了对不确定性的建模，并允许智能体生成多个可能的场景补全假设。
技术框架：3D-Belief的整体框架包含以下几个主要模块：1) 空间一致的场景记忆模块，用于存储和检索已观察到的3D场景信息；2) 多假设信念采样模块，用于生成多个可能的场景补全假设，以表示对未观察区域的不确定性；3) 顺序信念更新模块，用于根据新的观测结果更新智能体的信念；4) 语义感知的未见区域预测模块，用于根据场景的语义信息预测未观察区域的内容。这些模块协同工作，使3D-Belief能够有效地维护和更新智能体对3D世界的信念。
关键创新：3D-Belief最重要的技术创新点在于其显式地在3D空间中表示不确定性，并允许智能体生成多个可能的场景补全假设。与传统的视觉预测模型不同，3D-Belief不只是预测下一个可能的视觉帧，而是维护一个关于整个3D世界的信念分布。这种表示方式更适合于具身智能体的推理和决策，因为它允许智能体考虑多种可能性，并选择最合适的行动。
关键设计：3D-Belief的关键设计包括：1) 使用体素网格来表示3D场景，并使用概率分布来表示每个体素的状态；2) 使用生成模型来生成场景补全假设，并使用变分推理来学习生成模型的参数；3) 使用循环神经网络来建模信念的顺序更新过程；4) 使用语义分割网络来提取场景的语义信息，并用于指导未见区域的预测。
🖼️ 关键图片
📊 实验亮点
实验结果表明，3D-Belief在2D和3D想象质量方面均优于现有方法。在3D-CORE基准测试中，3D-Belief在对象和场景级别的3D想象任务上取得了显著的提升。在对象导航任务中，3D-Belief在模拟和真实世界环境中均表现出更好的性能，导航成功率提高了约10%-15%。这些结果表明，3D-Belief能够有效地建模和利用3D世界的结构化信息，从而提高具身智能体的感知和行动能力。
🎯 应用场景
3D-Belief可应用于机器人导航、增强现实、虚拟现实等领域。在机器人导航中，它可以帮助机器人在未知环境中进行探索和定位。在增强现实和虚拟现实中，它可以生成逼真的3D场景，并允许用户与虚拟环境进行交互。此外，该模型还可以用于场景理解、目标检测等任务，具有广泛的应用前景。
📄 摘要（原文）
Recent advances in visual generative models have highlighted the promise of learning generative world models. However, most existing approaches frame world modeling as novel-view synthesis or future-frame prediction, emphasizing visual realism rather than the structured uncertainty required by embodied agents acting under partial observability. In this work, we propose a different perspective: world modeling as embodied belief inference in 3D space. From this view, a world model should not merely render what may be seen, but maintain and update an agent's belief about the unobserved 3D world as new observations are acquired. We identify several key capabilities for such models, including spatially consistent scene memory, multi-hypothesis belief sampling, sequential belief updating, and semantically informed prediction of unseen regions. We instantiate these ideas in 3D-Belief, a generative 3D world model that infers explicit, actionable 3D beliefs from partial observations and updates them online over time. Unlike prior visual prediction models, 3D-Belief represents uncertainty directly in 3D, enabling embodied agents to imagine plausible scene completions and reason over partially observed environments. We evaluate 3D-Belief on 2D visual quality for scene memory and unobserved-scene imagination, object- and scene-level 3D imagination using our proposed 3D-CORE benchmark, and challenging object navigation tasks in both simulation and the real world. Experiments show that 3D-Belief improves 2D and 3D imagination quality and downstream embodied task performance compared to state-of-the-art methods.