DISCOVERSE: Efficient Robot Simulation in Complex High-Fidelity Environments

📄 arXiv: 2507.21981v1 📥 PDF

作者: Yufei Jia, Guangyu Wang, Yuhang Dong, Junzhe Wu, Yupei Zeng, Haonan Lin, Zifan Wang, Haizhou Ge, Weibin Gu, Kairui Ding, Zike Yan, Yunjie Cheng, Yue Li, Ziming Wang, Chuxuan Li, Wei Sui, Lu Shi, Guanzhong Tian, Ruqi Huang, Guyue Zhou

分类: cs.RO

发布日期: 2025-07-29

备注: 8pages, IROS2025 (Camera Ready)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DISCOVERSE：基于3DGS的高效高保真机器人仿真框架，用于Real2Sim2Real机器人学习。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人仿真 3D高斯溅射 Real2Sim2Real Sim2Real迁移 模仿学习 MuJoCo 机器人学习

📋 核心要点

  1. 现有机器人仿真器难以兼顾高真实度、高效性和对多种传感器模态的支持，限制了Real2Sim2Real机器人学习的发展。
  2. Discoverse利用3D高斯溅射技术，能够高效地渲染高真实度的场景几何和外观，并结合MuJoCo进行精确的物理仿真。
  3. 实验表明，Discoverse在模仿学习任务中实现了最先进的零样本Sim2Real迁移性能，优于现有仿真器。

📝 摘要（中文）

我们提出了首个统一的、模块化的、开源的、基于3D高斯溅射(3DGS)的仿真框架，用于Real2Sim2Real机器人学习。该框架具有一个整体的Real2Sim流程，可以合成复杂真实世界场景的超逼真几何形状和外观，为分析和弥合Sim2Real差距铺平了道路。Discoverse由高斯溅射和MuJoCo提供支持，能够大规模并行地模拟多种传感器模态和精确的物理特性，并全面支持现有的3D资产、机器人模型和ROS插件，从而支持大规模机器人学习和复杂的机器人基准测试。通过在模仿学习上的大量实验，Discoverse展示了与现有模拟器相比，最先进的零样本Sim2Real迁移性能。代码和演示：https://air-discoverse.github.io/。

🔬 方法详解

问题定义：现有机器人仿真方法在构建高真实度、高效率且支持多种传感器模态的仿真环境方面面临挑战。传统的基于网格的渲染方法计算成本高昂，难以实现大规模并行仿真。同时，Sim2Real差距依然是机器人学习中的一个关键问题，需要更逼真的仿真环境来弥合这一差距。

核心思路：Discoverse的核心思路是利用3D高斯溅射（3DGS）技术来高效地渲染高真实度的场景，并结合MuJoCo物理引擎进行精确的物理仿真。3DGS能够以较低的计算成本生成高质量的渲染图像，从而实现大规模并行仿真。通过构建更逼真的仿真环境，可以有效减小Sim2Real差距。

技术框架：Discoverse框架包含以下主要模块：1) Real2Sim流程，用于将真实世界的场景转换为仿真环境，包括几何和外观的重建；2) 基于3DGS的渲染引擎，用于高效地渲染场景；3) MuJoCo物理引擎，用于进行精确的物理仿真；4) 传感器模拟模块，用于模拟多种传感器模态的数据；5) ROS插件支持，方便与现有的机器人软件栈集成。整体流程是从真实数据重建3D场景，然后利用3DGS和MuJoCo进行仿真，最后将仿真数据用于机器人学习。

关键创新：Discoverse的关键创新在于将3D高斯溅射技术引入到机器人仿真领域。与传统的基于网格的渲染方法相比，3DGS能够以更低的计算成本生成更高质量的渲染图像，从而实现大规模并行仿真。此外，Discoverse还提供了一个完整的Real2Sim流程，可以方便地将真实世界的场景转换为仿真环境。

关键设计：Discoverse使用3DGS进行场景渲染，通过优化高斯球的位置、大小、颜色和透明度等参数来拟合场景的几何和外观。MuJoCo用于进行物理仿真，可以模拟机器人的运动和与环境的交互。传感器模拟模块可以模拟相机、激光雷达等多种传感器的数据。框架支持自定义的损失函数和优化算法，可以根据具体的任务进行调整。具体的参数设置和网络结构等技术细节在论文中未详细说明，可能需要参考相关代码或后续研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Discoverse在模仿学习任务中取得了显著的成果，实现了最先进的零样本Sim2Real迁移性能。与现有的仿真器相比，Discoverse能够更好地将仿真环境中学习到的策略迁移到真实世界中。具体的性能数据和对比基线可以在论文的实验部分找到。

🎯 应用场景

Discoverse可应用于各种机器人学习任务，例如模仿学习、强化学习和运动规划。它可以用于训练机器人在各种复杂环境中的行为，例如家庭、办公室和工厂。通过减小Sim2Real差距，Discoverse可以提高机器人在真实世界中的性能，并加速机器人技术的应用。

📄 摘要（原文）

We present the first unified, modular, open-source 3DGS-based simulation framework for Real2Sim2Real robot learning. It features a holistic Real2Sim pipeline that synthesizes hyper-realistic geometry and appearance of complex real-world scenarios, paving the way for analyzing and bridging the Sim2Real gap. Powered by Gaussian Splatting and MuJoCo, Discoverse enables massively parallel simulation of multiple sensor modalities and accurate physics, with inclusive supports for existing 3D assets, robot models, and ROS plugins, empowering large-scale robot learning and complex robotic benchmarks. Through extensive experiments on imitation learning, Discoverse demonstrates state-of-the-art zero-shot Sim2Real transfer performance compared to existing simulators. For code and demos: https://air-discoverse.github.io/.