TAMEn: Tactile-Aware Manipulation Engine for Closed-Loop Data Collection in Contact-Rich Tasks
作者: Longyan Wu, Jieji Ren, Chenghang Jiang, Junxi Zhou, Shijia Peng, Ran Huang, Guoying Gu, Li Chen, Hongyang Li
分类: cs.RO
发布日期: 2026-04-08
💡 一句话要点
提出TAMEn触觉感知操作引擎，用于接触丰富任务中的闭环数据收集。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 触觉感知 机器人操作 双手动操作 闭环控制 数据收集
📋 核心要点
- 现有手持操作方法在接触丰富的双手动操作中面临硬件适配性和数据有效性的挑战，缺乏在线可行性检查和交互式恢复数据。
- TAMEn通过跨形态可穿戴界面、双模态数据采集和金字塔结构数据体系，实现了接触丰富任务中的闭环策略改进。
- 实验表明，TAMEn显著提高了演示可重放性，并将双手动操作任务的成功率从34%提高到75%。
📝 摘要（中文）
手持式范例为收集大规模机器人操作演示提供了一种高效且直观的方式。然而，通过这些方法实现接触丰富的双手动操作仍然是一个关键挑战，这在很大程度上受到硬件适应性和数据有效性的阻碍。先前的硬件设计仍然是特定于夹具的，并且经常面临跟踪精度和便携性之间的权衡。此外，演示期间缺乏在线可行性检查导致可重放性差。更重要的是，现有的手持设备难以在机器人执行期间收集交互式恢复数据，缺乏用于鲁棒策略改进的真实触觉信息。为了弥合这些差距，我们提出了TAMEn，一种用于接触丰富任务中闭环数据收集的触觉感知操作引擎。我们的系统具有跨形态的可穿戴界面，可以实现跨异构夹具的快速适应。为了平衡数据质量和环境多样性，我们实现了一种双模态采集管道：一种利用运动捕捉进行高保真演示的精确模式，以及一种利用基于VR的跟踪进行野外采集和触觉可视化恢复遥操作的便携模式。在此硬件的基础上，我们将大规模触觉预训练、特定于任务的双手动演示以及人机交互恢复数据统一到一个金字塔结构的数据体系中，从而实现闭环策略改进。实验表明，我们的可行性感知管道显着提高了演示可重放性，并且所提出的视觉-触觉学习框架将各种双手动操作任务的成功率从34%提高到75%。我们进一步开源硬件和数据集，以方便重现性并支持视觉-触觉操作研究。
🔬 方法详解
问题定义：论文旨在解决接触丰富的双手动操作中，现有手持式遥操作方法硬件适配性差、数据质量不高、缺乏在线可行性检查和交互式恢复数据的问题。现有方法通常是夹具特定的，难以兼顾跟踪精度和便携性，并且缺乏在机器人执行失败时收集恢复数据的能力。
核心思路：论文的核心思路是设计一个触觉感知的操作引擎TAMEn，通过可穿戴的跨形态界面实现快速硬件适配，利用双模态数据采集平衡数据质量和环境多样性，并构建金字塔结构的数据体系来融合不同来源的数据，从而实现闭环策略改进。
技术框架：TAMEn系统包含以下主要模块：1) 跨形态可穿戴界面，用于适配不同的机械爪；2) 双模态数据采集管道，包括高精度运动捕捉模式和基于VR的便携模式；3) 金字塔结构的数据体系，融合了大规模触觉预训练数据、任务特定的双手动演示数据和人机交互恢复数据；4) 基于视觉-触觉信息的策略学习模块，用于策略改进。
关键创新：论文的关键创新在于：1) 提出了跨形态的可穿戴界面，能够快速适配不同的机械爪，提高了硬件的通用性；2) 设计了双模态数据采集管道，平衡了数据质量和环境多样性，能够收集高质量的演示数据和交互式恢复数据；3) 构建了金字塔结构的数据体系，有效融合了不同来源的数据，提高了策略学习的效率和鲁棒性。
关键设计：在双模态数据采集方面，高精度模式使用运动捕捉系统，保证了数据的高保真度；便携模式使用VR设备进行跟踪，方便在真实环境中进行数据采集。金字塔结构的数据体系中，大规模触觉预训练数据用于初始化策略，任务特定的双手动演示数据用于学习基本操作，人机交互恢复数据用于提高策略的鲁棒性。策略学习模块可能使用了强化学习或模仿学习等方法，并结合视觉和触觉信息进行训练。
🖼️ 关键图片
📊 实验亮点
实验结果表明，TAMEn的可行性感知管道显著提高了演示的可重放性。此外，所提出的视觉-触觉学习框架在各种双手动操作任务中，将任务成功率从34%提高到75%。这些结果验证了TAMEn在接触丰富任务中的有效性和优越性。
🎯 应用场景
该研究成果可应用于各种需要精细操作和接触感知的机器人任务中，例如装配、医疗手术、家庭服务等。通过收集高质量的触觉数据和进行闭环策略改进，可以提高机器人在复杂环境中的操作能力和鲁棒性，具有重要的实际应用价值和未来发展潜力。
📄 摘要（原文）
Handheld paradigms offer an efficient and intuitive way for collecting large-scale demonstration of robot manipulation. However, achieving contact-rich bimanual manipulation through these methods remains a pivotal challenge, which is substantially hindered by hardware adaptability and data efficacy. Prior hardware designs remain gripper-specific and often face a trade-off between tracking precision and portability. Furthermore, the lack of online feasibility checking during demonstration leads to poor replayability. More importantly, existing handheld setups struggle to collect interactive recovery data during robot execution, lacking the authentic tactile information necessary for robust policy refinement. To bridge these gaps, we present TAMEn, a tactile-aware manipulation engine for closed-loop data collection in contact-rich tasks. Our system features a cross-morphology wearable interface that enables rapid adaptation across heterogeneous grippers. To balance data quality and environmental diversity, we implement a dual-modal acquisition pipeline: a precision mode leveraging motion capture for high-fidelity demonstrations, and a portable mode utilizing VR-based tracking for in-the-wild acquisition and tactile-visualized recovery teleoperation. Building on this hardware, we unify large-scale tactile pretraining, task-specific bimanual demonstrations, and human-in-the-loop recovery data into a pyramid-structured data regime, enabling closed-loop policy refinement. Experiments show that our feasibility-aware pipeline significantly improves demonstration replayability, and that the proposed visuo-tactile learning framework increases task success rates from 34% to 75% across diverse bimanual manipulation tasks. We further open-source the hardware and dataset to facilitate reproducibility and support research in visuo-tactile manipulation.