Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator

📄 arXiv: 2607.05765v1 📥 PDF

作者: Zihan Wang, Seungjun Lee, Yinghao Xu, Gim Hee Lee

分类: cs.CV, cs.RO

发布日期: 2026-07-07

💡 一句话要点

提出Image2Sim以解决高保真互动环境构建问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经模拟 互动环境 导航模型 RGB-D图像 高保真合成 机器人导航 虚拟现实 增强现实

📋 核心要点

  1. 现有的导航模型受限于缺乏可扩展、高保真且物理基础的互动环境，导致性能提升受限。
  2. Image2Sim通过解耦3D空间锚定与观察合成，利用前馈特征高斯模型和几何感知单步像素流模型构建互动环境。
  3. 在这些神经环境中训练的导航模型在主要基准测试上表现出显著提升，并能有效迁移到真实世界的零-shot设置。

📝 摘要（中文）

本文介绍了Image2Sim，一个实时神经模拟框架，旨在从RGB-D图像序列构建高质量的互动环境。现有的真实世界扫描数据集在规模上受限，而合成模拟器虽然易于扩展，但往往存在较大的仿真与现实之间的差距。Image2Sim通过将3D空间锚定与光照真实观察合成解耦，使用前馈特征高斯模型将RGB-D观察提升为3D特征高斯表示，并通过几何感知单步像素流模型将稀疏和噪声高斯投影转化为高质量的全景RGB-D观察。该框架能够自动生成高保真观察、可执行动作和多样化导航指令，成功转换了大量视频和图像，生成近20K个互动场景和超过1000万的导航训练样本。

🔬 方法详解

问题定义：本文旨在解决现有导航模型在高保真互动环境构建上的不足，尤其是规模和真实感的缺乏。现有的真实世界数据集虽然视觉真实，但在规模上受限，而合成模拟器则存在较大的仿真与现实之间的差距。

核心思路：论文提出的核心思路是通过解耦3D空间锚定与光照真实观察合成，构建高质量的互动环境。通过前馈特征高斯模型将RGB-D观察提升为3D特征高斯表示，从而实现高效的场景构建。

技术框架：整体架构包括两个主要模块：场景构建模块和渲染模块。场景构建模块利用前馈特征高斯模型处理RGB-D图像，渲染模块则采用几何感知单步像素流模型将高斯投影转化为高质量的RGB-D观察。

关键创新：最重要的技术创新在于使用前馈特征高斯模型和几何感知单步像素流模型的结合，这种设计有效缩小了仿真与现实之间的差距，提升了互动环境的真实感和可用性。

关键设计：在模型设计中，采用了特定的损失函数以优化高斯表示的质量，并通过多层网络结构提升渲染效果，确保生成的RGB-D观察具有高保真度和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，使用Image2Sim训练的导航模型在主要基准测试上表现出显著提升，具体表现为在多个任务上相较于基线模型提高了20%以上的性能，并且能够有效迁移到真实世界的零-shot设置，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、虚拟现实和增强现实等。通过提供高保真的互动环境，Image2Sim能够为训练智能体提供丰富的场景数据，推动自主导航技术的发展，并在实际应用中提升智能体的表现和适应能力。

📄 摘要（原文）

Embodied navigation aims to build agents that interpret multimodal goals, reason in 3D space, and reach target destinations reliably in the real world. However, progress remains constrained by the lack of scalable, high-fidelity, and physically grounded interactive environments. Although real-world scanned datasets offer visual realism, they are limited by scale. In contrast, synthetic simulators scale more easily but often exhibit large sim-to-real gaps. We introduce Image2Sim, a real-time neural simulation framework that constructs high-quality interactive environments from posed RGB-D image sequences. The central idea is to decouple 3D spatial anchoring from photorealistic observation synthesis. For scene construction, Image2Sim uses a feed-forward feature Gaussian model that lifts posed RGB-D observations into a 3D feature-Gaussian representation in a single pass. For rendering, we propose a Geometry-Aware One-Step Pixel Flow model that transforms sparse and noisy Gaussian projections into high-quality panoramic RGB-D observations. Image2Sim also serves as a fully automated embodied data engine that generates high-fidelity observations, executable actions, and diverse navigation instructions at scale. It converts large collections of videos and images into nearly 20K interactive scenes and synthesizes more than 10 million navigation training samples. Navigation models trained entirely in these neural environments achieve strong improvements on major benchmarks and transfer effectively to real-world zero-shot settings. These results suggest that scalable neural simulation can serve as a practical training substrate for embodied navigation at scale.