TacEx: GelSight Tactile Simulation in Isaac Sim -- Combining Soft-Body and Visuotactile Simulators

📄 arXiv: 2411.04776v1 📥 PDF

作者: Duc Huy Nguyen, Tim Schneider, Guillaume Duret, Alap Kshirsagar, Boris Belousov, Jan Peters

分类: cs.RO

发布日期: 2024-11-07

备注: 11 pages, accepted at "CoRL Workshop on Learning Robot Fine and Dexterous Manipulation: Perception and Control"

💡 一句话要点

TacEx：在Isaac Sim中结合软体和视觉触觉模拟器，实现GelSight触觉模拟。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 触觉模拟 Isaac Sim 软体模拟 视觉触觉 强化学习 机器人操作 GelSight GIPC

📋 核心要点

  1. 现有触觉模拟器在接触丰富的操作任务中，精度、可靠性和易用性方面存在不足，限制了机器人策略在仿真环境中的训练效果。
  2. TacEx框架通过结合软体模拟器GIPC和视觉触觉模拟器Taxim/FOTS，在Isaac Sim中实现了对GelSight Mini传感器的高精度模拟。
  3. 实验表明，TacEx模拟稳定，且GelSight相机的高维观测数据（如凝胶变形和RGB图像）可有效用于强化学习训练。

📝 摘要（中文）

在仿真环境中训练机器人策略正变得越来越流行。然而，目前仍然缺乏一个精确、可靠且易于使用的触觉模拟器，以支持接触丰富的操作任务。为了弥补这一差距，我们开发了TacEx——一个模块化的触觉模拟框架。我们将最先进的用于接触的软体模拟器GIPC和基于视觉的触觉模拟器Taxim和FOTS嵌入到Isaac Sim中，以实现对视觉触觉传感器GelSight Mini的鲁棒且合理的模拟。我们利用TacEx模拟实现了几个用于强化学习（RL）的Isaac Lab环境，包括物体推移、举起和杆平衡。我们验证了该模拟的稳定性，并且来自GelSight相机的高维观测，如凝胶变形和RGB图像，可用于训练。代码、视频和其他结果将在网上发布。

🔬 方法详解

问题定义：论文旨在解决接触式操作任务中，现有触觉模拟器精度不足、可靠性不高以及不易使用的问题。这些问题阻碍了在仿真环境中训练机器人策略，并限制了机器人技术在实际应用中的发展。现有的触觉模拟方法难以同时兼顾物理上的精确性和计算上的高效性，尤其是在处理复杂接触和形变时。

核心思路：论文的核心思路是将不同的模拟器进行模块化组合，利用各自的优势来弥补彼此的不足。具体来说，利用GIPC进行精确的软体接触模拟，同时结合Taxim和FOTS进行视觉触觉信息的模拟。通过这种方式，TacEx能够提供更全面、更真实的触觉反馈，从而提高机器人策略在仿真环境中的训练效果。

技术框架：TacEx框架基于NVIDIA Isaac Sim平台，主要包含三个核心模块：GIPC软体模拟器、Taxim视觉触觉模拟器和FOTS视觉触觉模拟器。GIPC负责模拟物体之间的接触和形变，Taxim和FOTS则负责生成GelSight Mini传感器采集到的视觉信息。这些模块通过Isaac Sim的接口进行集成，形成一个完整的触觉模拟环境。此外，TacEx还提供了多个Isaac Lab环境，用于强化学习训练，例如物体推移、举起和杆平衡。

关键创新：TacEx的关键创新在于其模块化的设计和对多种模拟器的集成。通过将GIPC、Taxim和FOTS结合在一起，TacEx能够提供更全面、更精确的触觉模拟。此外，TacEx还提供了易于使用的接口和工具，方便研究人员进行定制和扩展。与现有方法相比，TacEx在精度、可靠性和易用性方面都有显著提升。

关键设计：TacEx的关键设计包括：1) GIPC的参数配置，需要根据具体的物体属性进行调整，以保证模拟的准确性；2) Taxim和FOTS的参数设置，需要根据GelSight Mini传感器的特性进行校准，以保证视觉信息的真实性；3) 强化学习环境的设计，需要充分考虑任务的复杂性和难度，以保证训练的有效性。此外，TacEx还提供了一些优化算法，用于提高模拟的效率和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TacEx模拟环境稳定可靠，并且可以生成高质量的触觉数据。通过使用TacEx进行强化学习训练，机器人可以在仿真环境中学习到有效的操作策略。例如，在物体推移任务中，使用TacEx训练的机器人策略能够达到较高的成功率。此外，实验还验证了GelSight相机的高维观测数据（如凝胶变形和RGB图像）可有效用于训练。

🎯 应用场景

TacEx框架可应用于各种接触式操作任务，例如物体抓取、装配、操作等。该框架可以帮助研究人员在仿真环境中快速开发和测试机器人策略，从而降低开发成本和风险。此外，TacEx还可以用于训练机器人进行远程操作，例如在危险环境中进行作业。未来，TacEx有望成为机器人触觉感知和操作领域的重要工具。

📄 摘要（原文）

Training robot policies in simulation is becoming increasingly popular; nevertheless, a precise, reliable, and easy-to-use tactile simulator for contact-rich manipulation tasks is still missing. To close this gap, we develop TacEx -- a modular tactile simulation framework. We embed a state-of-the-art soft-body simulator for contacts named GIPC and vision-based tactile simulators Taxim and FOTS into Isaac Sim to achieve robust and plausible simulation of the visuotactile sensor GelSight Mini. We implement several Isaac Lab environments for Reinforcement Learning (RL) leveraging our TacEx simulation, including object pushing, lifting, and pole balancing. We validate that the simulation is stable and that the high-dimensional observations, such as the gel deformation and the RGB images from the GelSight camera, can be used for training. The code, videos, and additional results will be released online https://sites.google.com/view/tacex.