Learning In-Hand Translation Using Tactile Skin With Shear and Normal Force Sensing
作者: Jessica Yin, Haozhi Qi, Jitendra Malik, James Pikul, Mark Yim, Tess Hellebrekers
分类: cs.RO, cs.LG
发布日期: 2024-07-10 (更新: 2025-05-19)
备注: Website: https://jessicayin.github.io/tactile-skin-rl/. Accepted to ICRA 2025
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于触觉皮肤的强化学习方法，实现灵巧的物体手中平移
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 触觉感知 强化学习 灵巧操作 机器人手 模拟到真实 触觉皮肤 滑动接触
📋 核心要点
- 现有灵巧操作方法在触觉信号利用上存在局限，主要原因是触觉模拟与真实环境存在差异，导致策略泛化性不足。
- 论文提出一种基于触觉皮肤的传感器模型，能有效迁移剪切力和法向力信息，并设计强化学习策略，利用滑动接触实现物体手中平移。
- 实验表明，该方法在真实环境中表现出色，能适应不同物体属性和手部方向，且优于仅使用单一触觉信息或本体感觉的基线方法。
📝 摘要（中文）
本文提出了一种利用剪切力和法向力触觉皮肤的强化学习方法，用于灵巧的物体手中平移。由于触觉模拟与现实世界之间存在差距，现有方法通常使用简化的触觉信号。本文引入了一种触觉皮肤传感器模型，该模型能够实现三元剪切力和二元法向力的零样本模拟到真实世界的迁移。利用该模型，我们开发了一种强化学习策略，该策略利用滑动接触来实现灵巧的手中平移。我们进行了广泛的真实世界实验，以评估触觉感知如何促进策略适应各种未见过的物体属性和机器人手部方向。实验结果表明，我们的三轴触觉策略始终优于仅使用剪切力、仅使用法向力或仅使用本体感觉的基线方法。
🔬 方法详解
问题定义：现有灵巧操作方法在利用触觉信息时，往往面临触觉模拟与真实环境差异大的问题。这导致在模拟环境中训练的策略难以直接迁移到真实机器人上，限制了策略的泛化能力。特别是在物体手中操作任务中，如何有效利用触觉信息来感知物体状态和控制操作，仍然是一个挑战。
核心思路：论文的核心思路是设计一种能够有效迁移触觉信息的传感器模型，并结合强化学习方法，学习利用触觉信息进行物体手中平移的策略。通过模拟真实触觉感知，减少模拟环境与真实环境的差异，从而实现零样本的模拟到真实世界的迁移。
技术框架：整体框架包括三个主要部分：触觉皮肤传感器模型、强化学习策略和真实世界实验。首先，设计触觉皮肤传感器模型，用于模拟三元剪切力和二元法向力。然后，利用该模型在模拟环境中训练强化学习策略，该策略以触觉信息作为输入，输出机器人手的控制指令。最后，将训练好的策略直接部署到真实机器人上，进行物体手中平移实验。
关键创新：论文的关键创新在于触觉皮肤传感器模型的设计，该模型能够有效模拟真实触觉感知，并实现零样本的模拟到真实世界的迁移。此外，论文还提出了一种利用滑动接触的强化学习策略，该策略能够有效地利用触觉信息进行物体手中平移。
关键设计：触觉皮肤传感器模型的设计考虑了剪切力和法向力的感知，并采用三元剪切力和二元法向力的表示方式。强化学习策略采用Actor-Critic框架，Actor网络输出机器人手的控制指令，Critic网络评估策略的性能。损失函数包括策略梯度损失和值函数损失。具体参数设置和网络结构在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在真实世界中能够有效地进行物体手中平移。与仅使用剪切力、仅使用法向力或仅使用本体感觉的基线方法相比，该方法在成功率和操作效率方面均有显著提升。具体而言，三轴触觉策略的性能始终优于其他基线方法，证明了触觉信息在灵巧操作中的重要作用。
🎯 应用场景
该研究成果可应用于各种需要灵巧操作的场景，例如：医疗手术机器人，可以通过触觉反馈更精确地操作医疗器械；工业机器人，可以更灵活地抓取和操作各种形状和材质的零件；家庭服务机器人，可以更安全地与人类互动并完成各种家务任务。该研究为提升机器人灵巧操作能力提供了新的思路和方法。
📄 摘要（原文）
Recent progress in reinforcement learning (RL) and tactile sensing has significantly advanced dexterous manipulation. However, these methods often utilize simplified tactile signals due to the gap between tactile simulation and the real world. We introduce a sensor model for tactile skin that enables zero-shot sim-to-real transfer of ternary shear and binary normal forces. Using this model, we develop an RL policy that leverages sliding contact for dexterous in-hand translation. We conduct extensive real-world experiments to assess how tactile sensing facilitates policy adaptation to various unseen object properties and robot hand orientations. We demonstrate that our 3-axis tactile policies consistently outperform baselines that use only shear forces, only normal forces, or only proprioception. Website: https://jessicayin.github.io/tactile-skin-rl/