Unified Visual-Tactile-Action Modeling from Human Demonstrations for Dexterous Manipulation
作者: Wenqiao Li, Qianyou Zhao, Jiawen Hao, Xuezhou Zhu, Tengyu Liu, Kaifeng Zhang, Chuan Wen, Siyuan Huang
分类: cs.RO, cs.AI
发布日期: 2026-09-28
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出统一视觉-触觉-动作模型以解决灵巧操作中的触觉反馈问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 灵巧操作 触觉反馈 人类演示 多模态学习 机器人控制 数据集构建 动作预测
📋 核心要点
- 现有的灵巧操作方法在触觉反馈方面存在不足，机器人触觉演示难以扩展，限制了多样化交互的实现。
- 本文提出了一种统一视觉-触觉-动作模型，通过人类触觉数据来提升灵巧操作策略，利用人类演示进行监督学习。
- 在五个任务的真实机器人评估中，提出的方法成功率达到70%，显著高于29%的视觉-触觉基线和42%的架构消融实验结果。
📝 摘要（中文）
灵巧操作需要触觉反馈，但机器人触觉演示难以扩展。人类演示提供了更丰富的触觉交互数据。本文构建了一个触觉运动捕捉系统，记录图像、触觉信号和手部动作，创建了UVTA数据集，涵盖五个接触丰富的任务，包含1000个多样化的人类演示和每个任务150个机器人演示。我们提出的统一视觉-触觉-动作模型将人类和机器人动作映射到对齐的触觉和动作表示中，能够共同预测未来的动作和触觉轨迹。实验表明，该方法在五个任务中的平均成功率达到70%，显著优于现有基线，验证了人类触觉数据在灵巧操作中的有效性。
🔬 方法详解
问题定义：本文旨在解决灵巧操作中触觉反馈不足的问题。现有的机器人触觉演示难以扩展，无法充分利用人类丰富的触觉交互数据。
核心思路：我们通过构建一个触觉运动捕捉系统，记录人类的触觉信号和手部动作，利用这些数据来改进机器人操作策略。核心思想是将人类的触觉交互映射到机器人控制中，以实现更自然的操作。
技术框架：整体架构包括触觉运动捕捉系统、UVTA数据集的构建、统一视觉-触觉-动作模型的设计。该模型将人类和机器人动作对齐，并共同预测未来的动作和触觉轨迹。
关键创新：最重要的创新在于提出了统一视觉-触觉-动作模型，能够有效地将人类的触觉数据转化为机器人可执行的控制策略。这一方法与传统的单一视觉或触觉模型有本质区别。
关键设计：在模型设计中，我们采用了特定的损失函数来优化触觉和动作的对齐，同时确保模型在执行时仅依赖机器人动作进行控制。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在五个任务中的平均成功率达到70%，显著高于现有的视觉-触觉基线（29%）和架构消融实验（42%）。随着人类演示数量的增加，性能持续提升，验证了人类触觉数据的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在需要灵巧操作的场景中，如工业自动化、医疗机器人和服务机器人等领域。通过利用人类的触觉数据，机器人能够更好地适应复杂的操作环境，提高工作效率和安全性。
📄 摘要（原文）
Dexterous manipulation requires tactile feedback.However, robot tactile demonstrations are difficult to scale,because dexterous-hand teleoperation provides limited tactile feedback to the operator. In contrast, human demonstrations offer a substantially more scalable source of diverse tactile interactions. Motivated by a simple premise: hands can change, but the underlying physics of interaction does not. We leverage human tactile data to improve dexterous manipulation policies. Specifically, we first build a tactile motion-capture system that synchronously records images, tactile signals, and hand motions. Using this system, we construct the UVTA dataset spanning five contact-rich tasks, with 1,000 human demonstrations covering diverse interaction patterns and 150 robot demonstrations per task. To transfer the underlying physics of human interaction to robot control, we propose a Unified Visual-Tactile-Action Model that maps both embodiments into aligned tactile and action representations and jointly predicts future action and tactile trajectories. The joint objective enables human demonstrations to supervise contact-aware representation learning, while only robot actions are executed during deployment. In real-robot evaluations across five tasks, our method achieves an average success rate of 70%, outperforming the strongest visual-tactile baseline, which achieves 29%, and an architecture ablation, which achieves 42%. Performance improves consistently with additional human demonstrations and exhibits no saturation at 1,000 demonstrations per task, validating the effectiveness of scalable human tactile data for dexterous manipulation. Project page is available at https://uni-vta.github.io/.