AnyRotate: Gravity-Invariant In-Hand Object Rotation with Sim-to-Real Touch

📄 arXiv: 2405.07391v3 📥 PDF

作者: Max Yang, Chenghua Lu, Alex Church, Yijiong Lin, Chris Ford, Haoran Li, Efi Psomopoulou, David A. W. Barton, Nathan F. Lepora

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-05-12 (更新: 2024-11-03)

备注: Project website can be found at https://maxyang27896.github.io/anyrotate/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

AnyRotate：基于模拟到真实触觉迁移的重力不变手内物体旋转系统

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 手内操作 触觉感知 模拟到真实 机器人灵巧手 重力不变性 策略学习 零样本迁移

📋 核心要点

  1. 机器人手在不同手部运动下实现手内操作仍然面临挑战，需要充分利用触觉信息。
  2. AnyRotate通过模拟训练密集触觉策略，并结合模拟到真实的触觉迁移，实现了零样本策略迁移。
  3. 实验表明，该系统能够旋转未见过的物体，且多指触觉感知能提高策略的鲁棒性。

📝 摘要（中文）

本文提出AnyRotate，一个利用密集特征的模拟到真实触觉迁移实现重力不变多轴手内物体旋转的系统。通过在模拟环境中训练密集触觉策略，并提出一种用于丰富触觉感知的模拟到真实迁移方法，实现了零样本策略迁移。该方法允许训练一个统一的策略，以在任何手部方向上绕任意旋转轴旋转未见过的物体。实验结果表明，捕捉详细的接触信息在处理具有不同属性的物体时具有优势。有趣的是，研究发现丰富的多指触觉感知可以检测到不稳定的抓取，并提供一种反应行为，从而提高策略的鲁棒性。

🔬 方法详解

问题定义：现有机器人手在手内操作中，尤其是在物体旋转方面，难以像人手一样灵活自如。主要痛点在于：1）难以获取足够丰富和准确的触觉信息；2）难以建立触觉信息与控制策略之间的有效映射；3）难以适应不同形状、材质和重量的物体；4）难以应对真实世界中的噪声和不确定性。

核心思路：AnyRotate的核心思路是利用模拟环境生成大量的触觉数据，训练一个能够感知物体属性并进行稳定旋转的策略。通过模拟到真实的触觉迁移，将训练好的策略应用到真实机器人手上，从而实现零样本的手内物体旋转。这种方法避免了在真实环境中进行大量数据采集和训练的困难。

技术框架：AnyRotate的整体框架包括以下几个主要模块：1）模拟环境：用于生成带有丰富触觉信息的训练数据。2）触觉感知模块：负责从机器人手的传感器中获取触觉数据。3）策略网络：基于触觉数据，输出控制指令，驱动机器人手进行旋转操作。4）模拟到真实迁移模块：用于解决模拟环境和真实环境之间的差异，保证策略在真实环境中的有效性。

关键创新：AnyRotate的关键创新在于：1）密集触觉策略：利用密集的触觉传感器数据，捕捉更详细的接触信息，从而提高策略的精度和鲁棒性。2）重力不变性：策略的设计考虑了重力的影响，使得机器人手可以在不同的手部方向上进行旋转操作。3）零样本迁移：通过模拟到真实的触觉迁移，实现了策略在真实机器人手上的零样本部署，避免了大量的真实环境训练。

关键设计：具体的技术细节包括：1）触觉传感器的选择：使用了能够提供丰富触觉信息的传感器，例如高分辨率的触觉阵列。2）策略网络结构：采用了适合处理触觉数据的网络结构，例如卷积神经网络或图神经网络。3）损失函数设计：设计了能够鼓励稳定旋转的损失函数，例如最小化物体姿态误差和最大化抓取稳定性的损失函数。4）模拟到真实迁移方法：采用了域适应或域随机化的方法，减小模拟环境和真实环境之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究通过实验验证了AnyRotate系统的有效性。实验结果表明，该系统能够成功地旋转未见过的物体，并且在不同的手部方向上都能够保持稳定。此外，研究还发现，丰富的多指触觉感知可以检测到不稳定的抓取，并提供一种反应行为，从而提高策略的鲁棒性。这些结果表明，AnyRotate系统在手内物体旋转方面具有显著的优势。

🎯 应用场景

AnyRotate技术可应用于各种需要灵巧手操作的场景，例如：工业自动化中的精密装配、医疗手术中的微创操作、家庭服务机器人中的物体整理等。该技术能够提高机器人手的操作精度和鲁棒性，使其能够更好地适应复杂和动态的环境，具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

Human hands are capable of in-hand manipulation in the presence of different hand motions. For a robot hand, harnessing rich tactile information to achieve this level of dexterity still remains a significant challenge. In this paper, we present AnyRotate, a system for gravity-invariant multi-axis in-hand object rotation using dense featured sim-to-real touch. We tackle this problem by training a dense tactile policy in simulation and present a sim-to-real method for rich tactile sensing to achieve zero-shot policy transfer. Our formulation allows the training of a unified policy to rotate unseen objects about arbitrary rotation axes in any hand direction. In our experiments, we highlight the benefit of capturing detailed contact information when handling objects of varying properties. Interestingly, we found rich multi-fingered tactile sensing can detect unstable grasps and provide a reactive behavior that improves the robustness of the policy. The project website can be found at https://maxyang27896.github.io/anyrotate/.