Genie Sim PanoRecon: Fast Immersive Scene Generation from Single-View Panorama

📄 arXiv: 2604.07105v1 📥 PDF

作者: Zhijun Li, Yongxin Su, Di Yang, Jichao Wang, Zheyuan Xing, Qian Wang, Maoqing Yao

分类: cs.RO

发布日期: 2026-04-08

🔗 代码/项目: GITHUB

💡 一句话要点

Genie Sim PanoRecon：基于单视角全景图的快速沉浸式场景生成

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 全景图重建 3D场景生成 高斯溅射 机器人仿真 深度感知融合 深度注入 单目视觉 前馈网络

📋 核心要点

  1. 现有3D场景重建方法通常计算成本高昂，难以满足机器人操作仿真对快速、低成本场景生成的需求。
  2. PanoRecon通过并行处理立方体贴图面，并结合深度感知融合和深度注入模块，保证几何一致性，实现快速重建。
  3. 该系统已集成到Genie Sim平台，为具身合成数据生成和评估提供可扩展的背景，支持机器人操作任务。

📝 摘要（中文）

本文提出Genie Sim PanoRecon，一个前馈高斯溅射管线，为机器人操作仿真提供高保真、低成本的3D场景。全景图输入被分解为六个非重叠的立方体贴图面，并行处理并无缝重新组装。为了保证跨视角的几何一致性，我们设计了一种深度感知融合策略，并结合一个无需训练的深度注入模块，引导单目前馈网络生成连贯的3D高斯分布。整个系统在几秒钟内重建照片级真实感的场景，并已集成到Genie Sim中——一个由LLM驱动的仿真平台，用于生成和评估具身合成数据，为操作任务提供可扩展的背景。

🔬 方法详解

问题定义：论文旨在解决机器人操作仿真中，对高质量、低成本3D场景的需求。现有方法通常计算量大，耗时较长，难以满足快速仿真的要求。此外，从单视角全景图重建3D场景，容易出现几何不一致的问题，影响仿真效果。

核心思路：论文的核心思路是将全景图分解为多个立方体贴图面进行并行处理，从而加速重建过程。同时，通过深度感知融合和深度注入模块，保证跨视角的几何一致性，生成连贯的3D高斯分布。这种设计旨在平衡重建速度和质量，满足机器人仿真的需求。

技术框架：Genie Sim PanoRecon的整体框架包括以下几个主要步骤：1) 将全景图分解为六个立方体贴图面；2) 对每个面进行并行处理，生成初始的3D高斯分布；3) 使用深度感知融合策略，将不同面的高斯分布进行融合，保证几何一致性；4) 通过深度注入模块，进一步优化高斯分布，提高重建质量。

关键创新：该论文的关键创新在于深度感知融合策略和深度注入模块。深度感知融合策略能够有效地融合不同视角的几何信息，保证重建场景的几何一致性。深度注入模块则可以在无需训练的情况下，引导单目前馈网络生成更准确的深度信息，提高重建质量。

关键设计：深度感知融合策略的具体实现方式未知，深度注入模块的具体实现方式也未知。论文中使用了高斯溅射作为3D场景的表示方法，并采用前馈网络进行处理，以提高重建速度。损失函数的设计细节也未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的Genie Sim PanoRecon系统能够快速重建照片级真实感的场景，并在Genie Sim平台中得到应用。具体性能数据和对比基线未知，但摘要中强调了其快速性，能够在几秒钟内完成重建。该系统为LLM驱动的仿真平台提供了可扩展的背景，支持机器人操作任务。

🎯 应用场景

该研究成果可广泛应用于机器人仿真、虚拟现实、增强现实等领域。通过快速生成高质量的3D场景，可以为机器人操作、导航、感知等任务提供逼真的仿真环境，加速算法的开发和验证。此外，该技术还可以用于创建虚拟旅游、游戏等应用，提供沉浸式的用户体验。

📄 摘要（原文）

We present Genie Sim PanoRecon, a feed-forward Gaussian-splatting pipeline that delivers high-fidelity, low-cost 3D scenes for robotic manipulation simulation. The panorama input is decomposed into six non-overlapping cube-map faces, processed in parallel, and seamlessly reassembled. To guarantee geometric consistency across views, we devise a depth-aware fusion strategy coupled with a training-free depth-injection module that steers the monocular feed-forward network to generate coherent 3D Gaussians. The whole system reconstructs photo-realistic scenes in seconds and has been integrated into Genie Sim - a LLM-driven simulation platform for embodied synthetic data generation and evaluation - to provide scalable backgrounds for manipulation tasks. For code details, please refer to: https://github.com/AgibotTech/genie_sim/tree/main/source/geniesim_world.