Adaptive World Memory 3D Foundation Model for Scalable 3D Mapping, Localization, and Rendering
作者: Tianchen Deng, Guole Shen, Yilin Shen, Wenhua Wu, Yilin Fang, Ziqi Ma, Tianjun Zhang, Shenghai Yuan, Wolfram Burgard, Hesheng Wang
分类: cs.CV, cs.RO
发布日期: 2026-09-18
🔗 代码/项目: GITHUB
💡 一句话要点
提出自适应世界记忆3D基础模型以解决可扩展3D映射与定位问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D映射 机器人定位 高斯渲染 自适应记忆 时空调节 变换器 SLAM 重建质量
📋 核心要点
- 现有3D基础模型在持久记忆和可扩展性方面存在不足，限制了其在复杂环境中的应用。
- 提出了一种自适应世界记忆机制，通过门控更新和时空调节来优化记忆传播与更新。
- 实验结果显示，该模型在多个公共基准和自收集数据集上，轨迹精度和重建质量显著提升。
📝 摘要（中文）
近年来的3D基础模型虽然能够从RGB图像中进行通用几何推理，但在持久记忆、可扩展性和可渲染场景建模方面仍然存在局限。本文提出了一种以记忆为中心的3D基础模型，旨在实现可扩展的机器人定位、重建和高斯渲染。其核心是自适应世界记忆机制，结合了基于变换器的门控更新和测试时的时空调节。通过学习的门控控制递归记忆传播，时态状态演变和空间观察状态一致性则调节了长图像序列中的逐标记更新和遗忘。实验结果表明，该模型在轨迹精度、重建完整性和渲染质量上均优于现有的3D基础重建和SLAM基线。
🔬 方法详解
问题定义：本文旨在解决现有3D基础模型在持久记忆和可扩展性方面的不足，尤其是在复杂环境中的定位和重建问题。现有方法在长序列图像处理时容易出现信息遗忘和不一致性。
核心思路：提出的自适应世界记忆机制结合了变换器的门控更新与时空调节，能够有效控制记忆的传播与更新，从而提升模型在长时间序列中的表现。
技术框架：整体架构包括自适应世界记忆模块、局部子图组织、渐进式映射与跟踪、闭环检测和基于SL(4)的全局优化。模型通过这些模块实现了局部精度与全局一致性的维护。
关键创新：最重要的创新点在于引入了门控机制和时空调节，允许模型在长序列中有效管理记忆更新与遗忘，显著提高了3D重建和定位的准确性。
关键设计：模型设计中使用了学习的门控来控制记忆传播，损失函数设计考虑了时态状态与空间一致性，网络结构则结合了高斯重建头以实现可渲染的原始体素输出。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的模型在公共基准测试中，轨迹精度提高了XX%，重建完整性提升了YY%，渲染质量也显著优于现有的3D基础重建和SLAM基线，验证了自适应记忆在持久机器人世界建模中的有效性。
🎯 应用场景
该研究的潜在应用领域包括自主机器人导航、增强现实和虚拟现实等。通过提供高精度的3D地图和实时定位能力，该模型可以在复杂环境中实现更高效的任务执行，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Recent 3D foundation models enable generalizable geometric reasoning from RGB images but remain limited in persistent memory, scalability, and renderable scene modeling. We present a memory-centric 3D foundation model for scalable robotic localization, reconstruction, and Gaussian rendering. Its core is an adaptive world memory mechanism that combines transformer-based gated updates with test-time temporal-spatial regulation. Learned gates control recurrent memory propagation, while temporal state evolution and spatial observation-state consistency regulate token-wise updates and forgetting over long image sequences. To support large-scale mapping, we organize memory into local submaps and integrate progressive mapping and tracking, loop closure, and SL(4)-based global refinement to maintain local accuracy and global consistency. A Gaussian reconstruction head decodes memory-enhanced features into renderable primitives, unifying camera pose estimation, dense point-cloud reconstruction, and photorealistic rendering within a single model. Experiments on public benchmarks and self-collected datasets from diverse robotic platforms demonstrate improved trajectory accuracy, reconstruction completeness, and rendering quality over existing 3D foundation reconstruction and SLAM baselines. These results support adaptive memory as a foundation for persistent robotic world modeling. The dataset and code will be made publicly available at \href{https://github.com/dtc111111/AWM-3DFM}{https://github.com/dtc111111/AWM-3DFM}.