OSMO: Open-Source Tactile Glove for Human-to-Robot Skill Transfer

📄 arXiv: 2512.08920v1 📥 PDF

作者: Jessica Yin, Haozhi Qi, Youngsun Wi, Sayantan Kundu, Mike Lambeta, William Yang, Changhao Wang, Tingfan Wu, Jitendra Malik, Tess Hellebrekers

分类: cs.RO, cs.LG

发布日期: 2025-12-09

备注: Project website: https://jessicayin.github.io/osmo_tactile_glove/

💡 一句话要点

OSMO：用于人-机器人技能迁移的开源触觉手套，提升操作任务成功率。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)

关键词: 触觉手套 人-机器人交互 技能迁移 开源硬件 机器人操作

📋 核心要点

  1. 视频数据难以捕捉操作任务中丰富的接触信号，限制了机器人策略的学习。
  2. OSMO开源触觉手套通过提供触觉反馈，缩小人与机器人之间的具身差距，促进技能迁移。
  3. 实验表明，仅用OSMO收集的数据训练的机器人策略，在擦拭任务中成功率达72%，优于视觉基线。

📝 摘要（中文）

本文介绍了一种名为OSMO的开源可穿戴触觉手套，旨在实现人-机器人技能迁移。该手套在指尖和手掌上配备了12个三轴触觉传感器，并与最先进的手部跟踪方法兼容，可用于真实场景中的数据收集。研究表明，仅使用通过OSMO收集的人类演示数据训练的机器人策略，无需任何真实机器人数据，就能够执行具有挑战性的、富含接触的操纵任务。通过让人和机器人都配备相同的手套，OSMO最大限度地减少了视觉和触觉的具身差距，从而能够传递连续的剪切力和法向力反馈，同时避免了图像修复或其他基于视觉的力推断的需求。在一个需要持续接触压力的真实擦拭任务中，我们的触觉感知策略实现了72%的成功率，通过消除与接触相关的失败模式，优于仅使用视觉的基线方法。我们发布了完整的硬件设计、固件和组装说明，以支持社区采用。

🔬 方法详解

问题定义：现有的机器人学习方法依赖于视觉信息，但在许多操作任务中，触觉反馈至关重要。仅依赖视觉信息会导致机器人难以感知接触力，从而导致任务失败。现有方法要么需要大量的真实机器人数据，要么依赖于复杂的视觉力估计方法，这些方法通常不够准确且泛化能力有限。

核心思路：OSMO的核心思路是通过开源的触觉手套，直接捕捉人类操作过程中的触觉信息，并将其传递给机器人。通过让人和机器人都佩戴相同的手套，可以有效地缩小视觉和触觉的具身差距，从而实现更有效的技能迁移。这种方法避免了对复杂视觉力估计的依赖，并减少了对大量真实机器人数据的需求。

技术框架：OSMO系统包含以下几个主要部分：1) 可穿戴触觉手套，配备12个三轴触觉传感器；2) 手部跟踪系统，用于捕捉手部运动；3) 机器人控制系统，用于执行学习到的策略。整个流程包括：人类佩戴OSMO手套进行演示，记录触觉和视觉数据；使用这些数据训练机器人策略；机器人佩戴OSMO手套执行任务。

关键创新：OSMO的关键创新在于其开源的设计和对触觉信息的直接捕捉。与依赖视觉力估计的方法不同，OSMO直接测量接触力，从而提供更准确和可靠的反馈。此外，开源的设计促进了社区的参与和改进，加速了触觉感知机器人的发展。

关键设计：OSMO手套配备了12个三轴触觉传感器，分布在指尖和手掌的关键位置，以捕捉操作过程中产生的法向力和剪切力。手套的设计兼容现有的手部跟踪方法，可以方便地与视觉信息融合。机器人策略使用触觉和视觉数据进行训练，例如可以使用强化学习或模仿学习。具体的损失函数和网络结构取决于具体的任务和算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在真实的擦拭任务中，使用OSMO收集的数据训练的机器人策略实现了72%的成功率，显著优于仅使用视觉信息的基线方法。这表明OSMO能够有效地传递触觉信息，并提高机器人在接触密集型任务中的性能。实验结果验证了OSMO在人-机器人技能迁移方面的有效性。

🎯 应用场景

OSMO触觉手套在机器人操作、远程操作、医疗康复等领域具有广泛的应用前景。它可以用于训练机器人执行各种复杂的操纵任务，例如装配、抓取、擦拭等。在远程操作中，操作员可以通过触觉反馈更精确地控制机器人。在医疗康复领域，OSMO可以用于评估患者的手部功能，并提供个性化的康复训练。

📄 摘要（原文）

Human video demonstrations provide abundant training data for learning robot policies, but video alone cannot capture the rich contact signals critical for mastering manipulation. We introduce OSMO, an open-source wearable tactile glove designed for human-to-robot skill transfer. The glove features 12 three-axis tactile sensors across the fingertips and palm and is designed to be compatible with state-of-the-art hand-tracking methods for in-the-wild data collection. We demonstrate that a robot policy trained exclusively on human demonstrations collected with OSMO, without any real robot data, is capable of executing a challenging contact-rich manipulation task. By equipping both the human and the robot with the same glove, OSMO minimizes the visual and tactile embodiment gap, enabling the transfer of continuous shear and normal force feedback while avoiding the need for image inpainting or other vision-based force inference. On a real-world wiping task requiring sustained contact pressure, our tactile-aware policy achieves a 72% success rate, outperforming vision-only baselines by eliminating contact-related failure modes. We release complete hardware designs, firmware, and assembly instructions to support community adoption.