Built Different: Tactile Perception to Overcome Cross-Embodiment Capability Differences in Collaborative Manipulation

📄 arXiv: 2409.14896v2 📥 PDF

作者: William van den Bogert, Madhavan Iyengar, Nima Fazeli

分类: cs.RO, cs.LG

发布日期: 2024-09-23 (更新: 2025-09-16)

备注: 8 pages including references, 8 figures, 2 tables, submitted to ICRA 2026


💡 一句话要点

利用触觉感知弥合协作操作中不同机器人间的能力差异

🎯 匹配领域: 支柱一:机器人控制 (Robot Control) 支柱二:RL算法与架构 (RL & Architecture) 支柱七:动作重定向 (Motion Retargeting)

关键词: 触觉感知 人机协作 行为克隆 机器人学习 策略迁移 异构机器人 剪切场 预训练编码器

📋 核心要点

  1. 许多商业机器人缺乏关节扭矩监测,难以实现力控协作所需的顺应性,限制了其在人机协作中的应用。
  2. 该论文提出利用触觉传感器和行为克隆,将策略从具备扭矩传感的机器人迁移到不具备的机器人,实现跨机器人能力的正向迁移。
  3. 实验表明,分解的触觉剪切场表示结合预训练编码器,能够显著提高协作操作的成功率,优于其他触觉信息表示方法。

📝 摘要(中文)

触觉感知是机器人与人类之间隐式通信的一种广泛研究的手段。本文研究了触觉感知如何在协作操作的背景下弥合不同机器人之间的能力差异。对于机器人而言,学习和执行富含力的协作需要对人类交互的顺应性。虽然顺应性通常通过导纳控制来实现,但许多商业机器人缺乏这种控制所需的关节扭矩监测。为了解决这个挑战,我们提出了一种使用触觉传感器和行为克隆的方法,将策略从具有这些能力的机器人转移到没有这些能力的机器人。我们训练了一个单一策略,该策略展示了跨不同机器人的正向迁移,包括没有扭矩传感的机器人。我们使用在力控机器人数据上训练的相同策略,在四种不同的支持触觉的机器人上展示了这种正向迁移。在多个提出的指标中,最佳性能来自分解的触觉剪切场表示与预训练编码器的结合,这提高了相对于替代表示的成功率。

🔬 方法详解

问题定义:论文旨在解决不同机器人之间由于硬件能力差异(例如,是否具备扭矩传感器)而导致的协作操作性能差异问题。现有方法,如依赖关节扭矩监测的导纳控制,无法直接应用于缺乏扭矩传感器的机器人,限制了其在人机协作中的应用。

核心思路:论文的核心思路是利用触觉感知作为一种隐式通信手段,通过行为克隆学习策略,将具备扭矩传感能力的机器人的协作操作经验迁移到不具备该能力的机器人上。这样,即使机器人缺乏直接的力反馈,也能通过触觉信息感知环境和人类的意图,从而实现有效的协作。

技术框架:整体框架包括数据收集、策略学习和策略迁移三个主要阶段。首先,在具备扭矩传感的机器人上进行协作操作,收集力、位置和触觉数据。然后,使用行为克隆算法,基于收集到的数据训练一个策略,该策略将触觉信息作为输入,输出机器人的动作。最后,将训练好的策略迁移到不具备扭矩传感的机器人上,利用其触觉传感器执行协作操作。

关键创新:论文的关键创新在于利用触觉信息弥合了不同机器人硬件能力上的差异,实现了跨机器人平台的策略迁移。此外,论文还提出了分解的触觉剪切场表示方法,并结合预训练编码器,提高了触觉信息的表达能力,从而提升了策略的性能。

关键设计:论文的关键设计包括:1) 触觉信息的表示方式,采用了分解的触觉剪切场表示,能够更有效地捕捉触觉信息中的关键特征;2) 行为克隆算法的选择,使用了合适的行为克隆算法,保证了策略学习的稳定性和泛化能力;3) 预训练编码器的使用,通过预训练编码器提取触觉信息的有效特征,提高了策略的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明,使用分解的触觉剪切场表示结合预训练编码器的策略,在四种不同的机器人平台上实现了正向迁移,显著提高了协作操作的成功率。相较于其他触觉信息表示方法,该方法在多个指标上均取得了最佳性能,验证了其有效性。具体性能数据未知。

🎯 应用场景

该研究成果可应用于各种人机协作场景,尤其是在需要机器人具备灵巧操作能力,但又受限于成本或硬件条件的场合。例如,在医疗康复、智能制造、家庭服务等领域,可以利用低成本的触觉传感器,使机器人能够更好地理解人类的意图,实现安全、高效的协作操作。该研究也为异构机器人团队协作提供了新的思路。

📄 摘要(原文)

Tactile sensing is a widely-studied means of implicit communication between robot and human. In this paper, we investigate how tactile sensing can help bridge differences between robotic embodiments in the context of collaborative manipulation. For a robot, learning and executing force-rich collaboration require compliance to human interaction. While compliance is often achieved with admittance control, many commercial robots lack the joint torque monitoring needed for such control. To address this challenge, we present an approach that uses tactile sensors and behavior cloning to transfer policies from robots with these capabilities to those without. We train a single policy that demonstrates positive transfer across embodiments, including robots without torque sensing. We demonstrate this positive transfer on four different tactile-enabled embodiments using the same policy trained on force-controlled robot data. Across multiple proposed metrics, the best performance came from a decomposed tactile shear-field representation combined with a pre-trained encoder, which improved success rates over alternative representations.