Fine Manipulation Using a Tactile Skin: Learning in Simulation and Sim-to-Real Transfer
作者: Ulf Kasolowsky, Berthold Bäuml
分类: cs.RO
发布日期: 2024-09-19
备注: Accepted for the 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems
💡 一句话要点
提出一种基于触觉皮肤的精细操作方法，通过模拟学习和迁移实现
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 触觉感知 精细操作 机器人手 强化学习 Sim-to-Real 触觉皮肤模型 机器人控制
📋 核心要点
- 现有机器人精细操作方法依赖视觉信息，在遮挡等情况下表现不佳，触觉感知是潜在的解决方案。
- 论文提出一种触觉皮肤模型，能够模拟真实指尖的柔软度，并结合强化学习算法实现精细操作。
- 实验表明，该方法在模拟环境中能够实现亚触觉单元级别的操作精度，并成功迁移到真实机器人。
📝 摘要（中文）
本文旨在利用深度强化学习方法，结合多指机器人手和高空间分辨率的触觉传感器，实现精细操作。为此，提出了一种新型触觉皮肤模型，该模型可与刚体物理模拟器配合使用，保证了模拟速度。该模型考虑了真实指尖的柔软度，使得接触可以根据接触几何形状分布在传感器的多个触觉单元上。论文提出了一种自包含的校准方法，无需外部工具或传感器，用于校准模型参数，以实现对真实世界传感器的精确模拟。通过模拟实验，验证了触觉反馈对于精确操作至关重要，并实现了亚触觉单元级别的分辨率（< 1 mm，触觉单元间距为 4 mm）。此外，所有策略都成功地从模拟环境迁移到真实的机器人手上。
🔬 方法详解
问题定义：现有的机器人精细操作方法通常依赖于视觉信息，但在存在遮挡、光照变化等情况下，性能会显著下降。触觉感知作为一种补充或替代方案，可以提供更鲁棒的接触信息，但如何有效地利用触觉信息进行精细操作仍然是一个挑战。此外，在真实机器人上进行强化学习训练成本高昂，而传统的模拟环境又难以准确模拟触觉传感器的特性。
核心思路：论文的核心思路是构建一个能够准确模拟真实触觉传感器特性的触觉皮肤模型，并利用该模型在模拟环境中进行强化学习训练。训练好的策略可以直接迁移到真实机器人上，从而降低了训练成本，并提高了操作的鲁棒性。该方法强调触觉反馈在精细操作中的重要性，并利用深度强化学习算法来学习如何有效地利用触觉信息。
技术框架：整体框架包括以下几个主要模块：1) 触觉皮肤模型：用于模拟真实触觉传感器的特性，包括传感器的几何形状、材料属性以及接触力与触觉信号之间的关系。2) 强化学习环境：基于物理引擎构建的模拟环境，包括机器人手、操作对象以及触觉传感器。3) 强化学习算法：用于训练机器人手的控制策略，使其能够完成特定的精细操作任务。4) Sim-to-Real迁移：将训练好的策略从模拟环境迁移到真实机器人上，并在真实环境中进行验证。
关键创新：论文的关键创新在于提出了一种新型的触觉皮肤模型，该模型能够准确模拟真实触觉传感器的特性，包括指尖的柔软度以及接触力在多个触觉单元上的分布。此外，论文还提出了一种自包含的校准方法，无需外部工具或传感器即可校准模型参数。这种校准方法简化了模型的使用，并提高了其在不同机器人手上的适用性。
关键设计：触觉皮肤模型考虑了指尖的柔软度，采用参数化的方式描述接触力与触觉信号之间的关系。强化学习算法采用Actor-Critic方法，奖励函数的设计考虑了操作的精度和稳定性。Sim-to-Real迁移采用了域随机化技术，通过在模拟环境中引入随机噪声，提高了策略在真实环境中的鲁棒性。具体的参数设置和网络结构在论文中有详细描述，但在此不赘述。
🖼️ 关键图片
📊 实验亮点
论文通过模拟实验验证了触觉反馈对于精确操作的重要性，并实现了亚触觉单元级别的分辨率（< 1 mm），尽管触觉单元的间距为 4 mm。更重要的是，所有在模拟环境中训练的策略都成功地迁移到了真实的机器人手上，证明了该方法的有效性和实用性。论文展示了滚动大理石和螺栓等精细操作任务的成功案例。
🎯 应用场景
该研究成果可应用于各种需要精细操作的机器人应用场景，例如医疗手术机器人、精密仪器装配机器人、以及家庭服务机器人等。通过触觉感知，机器人可以更好地感知周围环境，并完成更加复杂和精细的操作任务。此外，该研究提出的触觉皮肤模型和Sim-to-Real迁移方法，可以降低机器人开发的成本和周期，加速机器人在实际场景中的应用。
📄 摘要（原文）
We want to enable fine manipulation with a multi-fingered robotic hand by using modern deep reinforcement learning methods. Key for fine manipulation is a spatially resolved tactile sensor. Here, we present a novel model of a tactile skin that can be used together with rigid-body (hence fast) physics simulators. The model considers the softness of the real fingertips such that a contact can spread across multiple taxels of the sensor depending on the contact geometry. We calibrate the model parameters to allow for an accurate simulation of the real-world sensor. For this, we present a self-contained calibration method without external tools or sensors. To demonstrate the validity of our approach, we learn two challenging fine manipulation tasks: Rolling a marble and a bolt between two fingers. We show in simulation experiments that tactile feedback is crucial for precise manipulation and reaching sub-taxel resolution of < 1 mm (despite a taxel spacing of 4 mm). Moreover, we demonstrate that all policies successfully transfer from the simulation to the real robotic hand.