TACROSS: An Efficient and Low-Cost Scalable Human Touch System Across Heterogeneous Tactile Sensors for Dexterous Robot Learning
作者: Bo Chen, Huanzhang Hu, Junyang Ma, Bo Yue, Fangdi Yu, Haijier Chen, Xianxin Lai, Shuyu Pan, Zhen Yang, Xiaoquan Sun, Wenze Cui, Zhongliang Jiang, Shaopeng Liu, Jiayu Chen
分类: cs.RO, cs.LG
发布日期: 2026-10-08
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出TACROSS以解决异构触觉传感器间数据对齐问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 触觉传感器 机器人学习 人机交互 数据对齐 低成本系统 效率提升 触觉示范 策略学习
📋 核心要点
- 现有方法在收集机器人触觉示范时成本高且速度慢，且人类触觉手套与机器人触觉传感器之间存在根本差异，导致数据对齐困难。
- 论文提出TACROSS系统，通过在接触事件层面对触觉流进行对齐，解决了人类触觉手套与机器人传感器之间的异质性问题。
- 实验结果表明，TACROSS在四个操作任务上实现了3.5倍的效率提升，并将设备成本降低了95.7%。
📝 摘要（中文）
收集机器人触觉示范的成本高且速度慢，因此需要使用低成本的人体触觉手套进行可扩展的数据收集。然而，人类电容/压阻手套与机器人触觉传感器在传感原理、传感器布局、空间分辨率和动态响应上存在根本差异，使得原始传感器通道的对齐变得困难。为了解决这一问题，我们提出了TACROSS，一个可扩展的系统，用于从人类触摸中学习并将其转移到机器人上，通过在接触事件层面对齐触觉流来弥合这种异质性。TACROSS的硬件组件集成了一个具有五层的压阻手套，成本为10.86美元，具有285个传感点。我们设计了标准化器和残差适配器，将异构信号映射到256维的共享触觉潜在空间，并通过时间变换器实现跨手指的注意力机制。我们进一步引入了一种基于机器人演示的策略学习方案，使得机器人演示成为唯一的真实动作监督来源，而人类演示则支持触觉表示学习并通过有效的重新目标手部目标提供信心加权的辅助监督。我们在四个接触丰富的操作任务上评估了我们的系统。与传统的遥操作相比，我们的系统在效率上提高了3.5倍，同时将示范获取设备成本降低了95.7%。
🔬 方法详解
问题定义：本论文旨在解决人类触觉手套与机器人触觉传感器之间的异质性导致的数据对齐问题。现有方法在这一领域的应用面临高成本和低效率的挑战。
核心思路：TACROSS通过在接触事件层面对触觉流进行对齐，而非直接对齐原始传感器值，从而有效弥合了人类和机器人触觉数据之间的差异。
技术框架：TACROSS系统的整体架构包括硬件组件（压阻手套）、标准化器、残差适配器和时间变换器。系统通过这些模块实现触觉信号的映射和对齐，并结合机器人演示进行策略学习。
关键创新：TACROSS的主要创新在于其通过接触事件对齐触觉流的方式，显著提高了数据对齐的准确性和效率，区别于传统方法直接对齐原始传感器数据的做法。
关键设计：系统设计中采用了256维的共享触觉潜在空间，使用时间变换器实现跨手指的注意力机制，确保了触觉信号的有效整合和映射。
🖼️ 关键图片
📊 实验亮点
在四个接触丰富的操作任务中，TACROSS系统实现了3.5倍的效率提升，并将示范获取设备成本降低了95.7%。这些结果表明，TACROSS在实际应用中具有显著的优势，能够有效支持机器人学习和操作。
🎯 应用场景
TACROSS系统具有广泛的应用潜力，特别是在机器人学习和人机交互领域。通过降低触觉数据收集的成本和提高效率，该系统可以促进更高效的机器人操作和更自然的人机协作，推动智能机器人技术的发展。
📄 摘要（原文）
Collecting tactile demonstrations on robots is costly and slow, motivating the use of lower-cost human tactile gloves for scalable data collection. However, human capacitive/piezoresistive gloves and robotic tactile sensors differ fundamentally in transduction principle, sensor layout, spatial resolution, and dynamic response, making alignment of raw sensor channels ill-posed. To address this problem, we present TACROSS, a scalable system for learning from human touch and transferring it to robots that bridges this heterogeneity by aligning tactile streams at the level of contact events rather than raw sensor values. The hardware component of TACROSS integrates a piezoresistive glove with five layers and a cost of USD 10.86 with 285 sensing points. To align contact semantics, we design canonicalizers and residual adapters that map heterogeneous signals into a shared tactile latent with 256 dimensions via a temporal Transformer with attention across fingers. We further introduce a robot-grounded policy learning scheme in which robot demonstrations provide the sole source of ground-truth action supervision, while human demonstrations support tactile representation learning and provide confidence-weighted auxiliary supervision through valid retargeted hand targets. We evaluate our system on four contact-rich manipulation tasks. Compared to conventional teleoperation, our proposed system achieves a 3.5-fold efficiency improvement while reducing demonstration acquisition equipment cost by 95.7%. We will open-source the TACROSS hardware and software system and publicly release a tactile dataset comprising over 150 hours of recordings. Project page: https://tacross-touch-project.github.io/.