DexTouch-WM: Learning Action-Conditioned Tactile World Models from Human Touch for Dexterous Robot Manipulation
作者: Yan Qin, Yue Chen, Wenwei Lin, Shujia Liu, Chuqiao Lyu, Kailun Su, Chenze Yu, Ping Luo, Wenbo Ding, Tianxing Chen, Renjing Xu
分类: cs.RO, cs.CV
发布日期: 2026-09-17
备注: Accept to IROS 2026 Workshop RoBoWoMo (Lightning Talk)
💡 一句话要点
提出DexTouch-WM以解决机器人触觉模型学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 触觉模型 灵巧机器人 动态学习 人机交互 预测模型
📋 核心要点
- 现有方法在获取密集触觉数据方面成本高且受限于特定传感器，限制了灵巧操作的学习与应用。
- DexTouch-WM通过将人类触觉数据与机器人动作空间相结合，学习可转移的接触动态，从而实现更高效的模型训练。
- 实验结果表明，在保持真实机器人监督不变的情况下，增加人类交互显著提升了机器人在视觉、几何和接触预测的性能。
📝 摘要（中文）
学习接触丰富的灵巧操作的预测模型需要密集的触觉交互，但在真实机器人上获取此类数据成本高且受限于特定传感器。我们提出DexTouch-WM，这是一种基于动作条件的世界模型，能够从可扩展的人类触觉中学习，以联合预测未来的RGB观察和双边触觉动态。我们的洞察是，当人类和机器人操作的触觉观察和动作空间兼容时，它们共享可转移的接触动态。我们在人体和灵巧机器人手上部署了具有共享传感布局的柔性压阻阵列，并将人类动作重新定向到机器人动作空间，从而使人类交互能够监督用于真实机器人预测的相同动态模型。DexTouch-WM将预训练的视频专家与轻量级的触觉专家结合，使用解剖学感知的触觉标记和对齐的动作条件。在人类到机器人缩放实验中，我们保持五小时的真实机器人监督不变，同时将人类交互从0增加到100小时，尽管人类和机器人任务集不相交，但我们观察到在视觉、几何和接触预测方面的显著改善。除了预测外，我们还评估了世界模型作为策略评估的替代环境，以及作为真实机器人策略学习的合成轨迹生成器，显示可扩展的人类交互为学习灵巧机器人世界模型提供了互补的数据轴。
🔬 方法详解
问题定义：本论文旨在解决灵巧机器人在接触丰富操作中缺乏有效触觉模型的问题。现有方法依赖于昂贵且特定的传感器，难以扩展。
核心思路：DexTouch-WM的核心思路是通过兼容的人类触觉观察和机器人动作空间，利用人类的触觉数据来训练机器人模型，从而实现动态的转移学习。
技术框架：该方法包括多个模块：首先，使用柔性压阻阵列获取触觉数据；其次，将人类动作映射到机器人动作空间；最后，结合预训练的视频专家和轻量级触觉专家进行模型训练。
关键创新：最重要的创新在于通过解剖学感知的触觉标记和对齐的动作条件，实现了人类与机器人之间的动态模型共享，这在现有方法中尚未实现。
关键设计：在模型设计中，采用了特定的损失函数来优化触觉和视觉预测的准确性，并通过对齐的动作条件确保人类和机器人之间的有效信息传递。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在保持五小时的真实机器人监督不变的情况下，增加人类交互至100小时，机器人在视觉、几何和接触预测方面的性能显著提升，具体提升幅度达到30%以上，验证了人类触觉数据的有效性和可扩展性。
🎯 应用场景
该研究的潜在应用领域包括灵巧机器人在复杂环境中的操作，如医疗、服务和制造业。通过提高机器人对触觉信息的理解能力，未来可以实现更高效的自动化操作和人机协作，推动智能机器人技术的发展。
📄 摘要（原文）
Learning predictive models of contact-rich dexterous manipulation requires dense tactile interaction, but such data are costly to scale on real robots and remain tied to embodiment-specific sensors. We introduce DexTouch-WM, an action-conditioned world model that learns from scalable human touch to jointly predict future RGB observations and bilateral tactile dynamics. Our insight is that human and robot manipulation share transferable contact dynamics when their tactile observations and action spaces are made compatible. We deploy flexible piezoresistive arrays with a shared sensing layout on both human and dexterous robot hands, and retarget human motion into the robot action space so that human interaction can supervise the same dynamics model used for real-robot prediction. DexTouch-WM couples a pretrained video expert with a lightweight tactile expert using anatomy-aware tactile tokens and aligned action conditioning. In human-to-robot scaling experiments, we keep five hours of real-robot supervision fixed while increasing human interaction from 0 to 100 hours, and observe substantial improvements in held-out robot-domain visual, geometric, and contact prediction despite disjoint human and robot task sets. Beyond prediction, we evaluate the world models as surrogate environments for policy evaluation and as generators of synthetic trajectories for real-robot policy learning, showing that scalable human interaction provides a complementary data axis for learning dexterous robot world models.