GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation
作者: Guangqi Jiang, Haoran Chang, Ri-Zhao Qiu, Yutong Liang, Mazeyu Ji, Jiyue Zhu, Zhao Dong, Xueyan Zou, Xiaolong Wang
分类: cs.RO, cs.AI, cs.CV
发布日期: 2025-10-23
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
GSWorld：结合3D高斯溅射与物理引擎的机器人操作闭环仿真平台
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 机器人操作 仿真 3D高斯溅射 Sim2Real 强化学习 物理引擎 场景重建
📋 核心要点
- 现有机器人操作仿真在真实感、数据生成效率和策略迁移等方面存在挑战，难以实现闭环开发。
- GSWorld结合3D高斯溅射和物理引擎，提出GSDF格式，实现照片级真实渲染和高效的sim2real策略迁移。
- 实验表明，GSWorld能够实现零样本sim2real操作策略学习、高质量数据收集和真实机器人策略的复现性基准测试。
📝 摘要（中文）
本文提出了GSWorld，一个稳健且照片级真实的机器人操作模拟器，它结合了3D高斯溅射与物理引擎。我们的框架提倡操作策略开发的“闭环”，通过对从真实机器人数据中学习到的策略进行可复现的评估，以及无需使用真实机器人的sim2real策略训练。为了实现多样化场景的照片级真实渲染，我们提出了一种新的资产格式，我们称之为GSDF（高斯场景描述文件），它将Mesh上的高斯表示与机器人URDF和其他对象融合在一起。通过简化的重建流程，我们整理了一个GSDF数据库，其中包含3种用于单臂和双臂操作的机器人模型，以及40多个对象。结合GSDF与物理引擎，我们展示了几个有趣的直接应用：（1）利用照片级真实渲染学习零样本sim2real像素到动作的操作策略，（2）自动高质量的DAgger数据收集，用于将策略适应到部署环境，（3）在模拟中对真实机器人操作策略进行可复现的基准测试，（4）通过虚拟遥操作进行模拟数据收集，以及（5）零样本sim2real视觉强化学习。
🔬 方法详解
问题定义：现有机器人操作仿真器在真实感、数据生成效率和策略迁移等方面存在不足。传统仿真器难以生成逼真的视觉数据，导致sim2real gap较大。同时，数据生成过程往往耗时耗力，难以支持快速迭代的策略开发。此外，缺乏统一的场景描述格式和评估标准，使得不同研究之间的结果难以比较和复现。
核心思路：GSWorld的核心思路是将3D高斯溅射（3D Gaussian Splatting）技术与物理引擎相结合，利用3D高斯溅射实现照片级真实感的场景渲染，同时利用物理引擎保证交互的物理合理性。通过提出的GSDF格式，将高斯表示与机器人URDF等信息融合，实现场景的统一描述和高效重建。
技术框架：GSWorld的整体框架包括以下几个主要模块：1) 场景重建模块：利用图像或视频数据重建场景的3D高斯表示，并将其转换为GSDF格式。2) 物理仿真模块：利用物理引擎模拟机器人在场景中的交互，包括碰撞检测、动力学模拟等。3) 渲染模块：利用3D高斯溅射技术渲染场景，生成照片级真实的图像。4) 策略学习模块：利用仿真数据训练机器人操作策略，并将其迁移到真实机器人上。
关键创新：GSWorld最重要的技术创新点在于将3D高斯溅射技术引入机器人操作仿真领域，实现了照片级真实感的场景渲染。与传统的基于Mesh的渲染方法相比，3D高斯溅射具有更高的渲染效率和更好的视觉效果。此外，GSDF格式的提出也为场景的统一描述和高效重建提供了新的思路。
关键设计：GSDF格式的关键设计在于将高斯表示与机器人URDF等信息融合在一起。具体来说，GSDF文件包含场景中所有对象的3D高斯表示、机器人URDF模型、材质信息、光照信息等。在策略学习方面，论文采用了像素到动作的策略学习方法，利用卷积神经网络将图像像素映射到机器人的动作空间。损失函数包括动作损失、状态损失等，用于约束策略的学习。
🖼️ 关键图片
📊 实验亮点
GSWorld在多个实验中展示了其优越性能。例如，在零样本sim2real操作策略学习实验中，GSWorld能够成功地将仿真环境中学习到的策略迁移到真实机器人上，而无需进行额外的训练。此外，GSWorld还能够自动生成高质量的DAgger数据，用于将策略适应到部署环境。在真实机器人策略的复现性基准测试中，GSWorld能够准确地复现真实机器人的操作行为。
🎯 应用场景
GSWorld可应用于机器人操作策略的开发、测试和部署。例如，可以利用GSWorld生成大量仿真数据，用于训练机器人操作策略，并将其迁移到真实机器人上。此外，GSWorld还可以用于评估不同操作策略的性能，并进行基准测试。该研究有助于加速机器人操作技术的发展，并推动其在工业、医疗、服务等领域的应用。
📄 摘要（原文）
This paper presents GSWorld, a robust, photo-realistic simulator for robotics manipulation that combines 3D Gaussian Splatting with physics engines. Our framework advocates "closing the loop" of developing manipulation policies with reproducible evaluation of policies learned from real-robot data and sim2real policy training without using real robots. To enable photo-realistic rendering of diverse scenes, we propose a new asset format, which we term GSDF (Gaussian Scene Description File), that infuses Gaussian-on-Mesh representation with robot URDF and other objects. With a streamlined reconstruction pipeline, we curate a database of GSDF that contains 3 robot embodiments for single-arm and bimanual manipulation, as well as more than 40 objects. Combining GSDF with physics engines, we demonstrate several immediate interesting applications: (1) learning zero-shot sim2real pixel-to-action manipulation policy with photo-realistic rendering, (2) automated high-quality DAgger data collection for adapting policies to deployment environments, (3) reproducible benchmarking of real-robot manipulation policies in simulation, (4) simulation data collection by virtual teleoperation, and (5) zero-shot sim2real visual reinforcement learning. Website: https://3dgsworld.github.io/.