Touch2Robot: Robot Touch in the Human Demonstration Loop
作者: Shengcheng Luo, Xiaoyang Cheng, Hong Ying, Xiaoying Zhou, Jiaming Jiang, Haoran Guo, Wanlin Li, Ziyuan Jiao, Chenxi Xiao
分类: cs.RO, cs.AI
发布日期: 2026-09-21
备注: 12 pages, 13 figures
💡 一句话要点
提出Touch2Robot以解决机器人触觉反馈不足的问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人触觉 人类示范 强化学习 数据收集 实时重定向
📋 核心要点
- 现有方法在机器人手与物体接触时，存在不稳定性和不可行性的问题，导致数据收集效率低下。
- Touch2Robot框架通过捕捉人类手的运动和触觉信息，实时指导机器人手的接触方式，从而提高数据收集的质量和效率。
- 实验结果显示，Touch2Robot显著提高了真实机器人重放的成功率，并减少了数据收集时间，同时提升了下游策略的性能。
📝 摘要（中文）
人类示范提供了一种可扩展的操作数据收集方式，但在转移到机器人手时，接触可能不稳定或不可行。直接在目标机器人上收集示范虽然避免了这种不匹配，但显著增加了数据收集成本。为了解决这一权衡，本文提出了Touch2Robot框架，使人类在收集示范时能够看到目标机器人手如何与物体接触。我们捕捉人手运动、触觉手套测量和物体运动，这些记录指导特定物体的强化学习策略，以重现示范的物体运动，同时偏向与记录的人类触觉一致的接触。在四个真实任务中，Touch2Robot将平均真实机器人重放完成率从37.9%提高到72.1%，并将每次成功重放的收集时间从58.6秒减少到18.2秒。
🔬 方法详解
问题定义：本文旨在解决人类示范与机器人手接触不匹配的问题，现有方法在数据收集时面临高成本和低效率的挑战。
核心思路：Touch2Robot框架通过实时捕捉人类手的运动和触觉信息，指导机器人手的接触方式，从而实现更高效的数据收集。
技术框架：该框架包括人类手运动捕捉、触觉手套测量、物体运动记录、对象特定的强化学习策略训练和实时重定向模块，形成一个闭环的数据收集系统。
关键创新：最重要的创新在于将人类触觉反馈引入机器人示范循环中，显著提高了数据收集的质量和效率，与传统的视觉反馈方法相比，提供了更为准确的接触信息。
关键设计：在设计中，采用了实时同步的机器人配置预测和物体姿态追踪，确保重建的机器人-物体接触与真实触觉测量一致，使用了特定的损失函数来优化接触一致性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Touch2Robot将真实机器人重放完成率从37.9%提升至72.1%，并将每次成功重放的收集时间从58.6秒减少至18.2秒。同时，重建的目标手接触与真实机器人触觉测量的F1得分达到44.2%。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造、服务机器人等，能够有效提升机器人在复杂环境中的操作能力和灵活性。未来，Touch2Robot有望推动人机协作的进步，使机器人能够更自然地与人类互动。
📄 摘要（原文）
Human demonstrations offer a scalable way to collect manipulation data, but their contacts may be unstable or infeasible when transferred to a robot hand. Collecting demonstrations directly on the target robot avoids this mismatch, but substantially increases the cost of data collection. To address this trade-off, we present \textbf{Touch2Robot}, a framework that lets humans collect demonstrations while seeing how the target robot hand would contact the object. We capture human hand motion, tactile-glove measurements, and object motion during human manipulation. These recordings guide object-specific RL policies to reproduce the demonstrated object motion while favoring contacts consistent with the recorded human touch. We distill the learned behaviors into a unified real-time retargeter that maps incoming human observations and object geometry to robot hand configurations. During collection, the predicted robot configuration is synchronized with the tracked object pose in simulation to reconstruct robot-object contacts, which are visualized to help the demonstrator adapt subsequent interactions to the target hand. Across four real-world tasks, Touch2Robot improves average real-robot replay completion from 37.9\% to 72.1\% over visual-only feedback, while reducing the collection time per replay-successful demonstration from 58.6~s to 18.2~s. Reconstructed target-hand contacts achieve 44.2\% F1 against real-robot tactile measurements, and policies trained on Touch2Robot demonstrations improve downstream Diffusion Policy performance by 29.1 percentage points over visual-only feedback. These results show that bringing robot touch into the human demonstration loop improves both the quality and efficiency of scalable dexterous data collection. \textit{Project webpage: \href{https://Touch2Robot.github.io/}{https://Touch2Robot.github.io/}.}