RL-GSBridge: 3D Gaussian Splatting Based Real2Sim2Real Method for Robotic Manipulation Learning

📄 arXiv: 2409.20291v2 📥 PDF

作者: Yuxuan Wu, Lei Pan, Wenhua Wu, Guangming Wang, Yanzi Miao, Fan Xu, Hesheng Wang

分类: cs.RO

发布日期: 2024-09-30 (更新: 2025-02-22)

备注: 7 pages, 5 figures, 4 tables. Accepted by ICRA2025

💡 一句话要点

提出RL-GSBridge，利用3D高斯溅射实现机器人操作学习的零样本Sim2Real迁移

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 机器人操作 Sim2Real 3D高斯溅射 强化学习 视觉伺服

📋 核心要点

  1. 现有Sim2Real方法依赖大量增强数据或大型模型，效率低，难以应用于特定机器人任务。
  2. RL-GSBridge将3D高斯溅射融入强化学习仿真，构建逼真场景，实现视觉强化学习的零样本迁移。
  3. 实验表明，该方法在抓取和放置等任务中，实现了较高的Sim2Real迁移成功率，渲染质量更优。

📝 摘要（中文）

Sim-to-Real是指将在仿真环境中学习到的策略迁移到现实世界的过程，这对于实现实际的机器人应用至关重要。然而，现有的Sim2real方法要么依赖于大量的增强数据，要么依赖于大型学习模型，这对于特定任务来说效率低下。近年来，随着辐射场重建方法，特别是3D高斯溅射的出现，构建逼真的现实世界场景成为可能。为此，我们提出了一种新的real-to-sim-to-real框架RL-GSBridge，该框架将3D高斯溅射融入到传统的RL仿真流程中，从而实现基于视觉的深度强化学习的零样本sim-to-real迁移。我们引入了一种基于网格的3D GS方法，具有软绑定约束，增强了网格模型的渲染质量。然后，利用GS编辑方法将渲染与物理模拟器同步，RL-GSBridge可以准确地反映物理机器人的视觉交互。通过一系列sim-to-real实验，包括抓取和拾取放置任务，我们证明了RL-GSBridge在sim-to-real迁移过程中保持了令人满意的现实世界任务完成成功率。此外，一系列渲染指标和可视化结果表明，我们提出的基于网格的3D GS减少了非结构化对象中的伪影，展示了更逼真的渲染性能。

🔬 方法详解

问题定义：现有的Sim2Real方法，如域随机化或对抗训练，通常需要大量的数据增强或复杂的模型训练，导致训练效率低下，难以快速适应新的机器人操作任务。此外，这些方法在模拟环境和真实环境之间仍然存在差距，导致策略在真实世界中的泛化能力有限。

核心思路：RL-GSBridge的核心思路是利用3D高斯溅射（3D Gaussian Splatting, 3D GS）技术，构建一个高度逼真的仿真环境，从而缩小模拟环境和真实环境之间的差距。通过将真实世界的场景重建为3D GS表示，并将其集成到强化学习的训练循环中，可以使智能体在更接近真实世界的环境中学习，从而提高Sim2Real的迁移性能。

技术框架：RL-GSBridge框架包含以下几个主要模块：1) 真实世界场景重建：使用3D GS技术将真实世界的场景重建为3D高斯分布的集合。2) 基于网格的3D GS方法：提出了一种基于网格的3D GS方法，并引入软绑定约束，以提高渲染质量，尤其是在处理非结构化对象时。3) GS编辑与物理同步：通过GS编辑方法，将渲染结果与物理模拟器同步，确保机器人与环境的交互在视觉上和物理上都是一致的。4) 强化学习训练：在构建的仿真环境中，使用强化学习算法训练机器人的控制策略。

关键创新：该论文的关键创新在于将3D高斯溅射技术引入到机器人强化学习的Sim2Real流程中，并提出了一种基于网格的3D GS方法，以提高渲染质量。通过这种方式，可以构建一个更加逼真的仿真环境，从而提高Sim2Real的迁移性能。此外，GS编辑与物理同步机制保证了视觉和物理交互的一致性。

关键设计：在基于网格的3D GS方法中，使用了软绑定约束来提高渲染质量。具体来说，每个网格顶点都与一组3D高斯分布相关联，并通过软绑定权重来控制它们对顶点颜色的贡献。这种方法可以减少非结构化对象中的伪影，并提高渲染的真实感。在GS编辑与物理同步方面，论文采用了一种基于优化的方法，通过最小化渲染图像和物理模拟器输出之间的差异，来实现视觉和物理的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RL-GSBridge在抓取和拾取放置等Sim2Real任务中取得了显著的性能提升。与传统的Sim2Real方法相比，RL-GSBridge在真实世界中保持了较高的成功率。此外，渲染指标和可视化结果表明，该方法能够有效减少非结构化对象中的伪影，提供更逼真的渲染效果，从而提升了强化学习策略的泛化能力。

🎯 应用场景

RL-GSBridge具有广泛的应用前景，可用于各种机器人操作任务，如工业自动化、物流分拣、家庭服务等。该方法能够显著降低机器人部署的成本和时间，提高机器人在复杂环境中的适应性和鲁棒性。未来，该技术有望应用于更复杂的机器人系统，如无人驾驶汽车、医疗机器人等。

📄 摘要（原文）

Sim-to-Real refers to the process of transferring policies learned in simulation to the real world, which is crucial for achieving practical robotics applications. However, recent Sim2real methods either rely on a large amount of augmented data or large learning models, which is inefficient for specific tasks. In recent years, with the emergence of radiance field reconstruction methods, especially 3D Gaussian splatting, it has become possible to construct realistic real-world scenes. To this end, we propose RL-GSBridge, a novel real-to-sim-to-real framework which incorporates 3D Gaussian Splatting into the conventional RL simulation pipeline, enabling zero-shot sim-to-real transfer for vision-based deep reinforcement learning. We introduce a mesh-based 3D GS method with soft binding constraints, enhancing the rendering quality of mesh models. Then utilizing a GS editing approach to synchronize the rendering with the physics simulator, RL-GSBridge could reflect the visual interactions of the physical robot accurately. Through a series of sim-to-real experiments, including grasping and pick-and-place tasks, we demonstrate that RL-GSBridge maintains a satisfactory success rate in real-world task completion during sim-to-real transfer. Furthermore, a series of rendering metrics and visualization results indicate that our proposed mesh-based 3D GS reduces artifacts in unstructured objects, demonstrating more realistic rendering performance.