VisTacAlign: Co-Training Dexterous Policies on Tactile Human and Robot Demonstrations
作者: Julien Poffet, Matthew Strong, Ankush Dhawan, Baiyu Shi, Shalika Neelaveni, Yujia Yuan, Zhenan Bao, Monroe Kennedy
分类: cs.RO
发布日期: 2026-09-25
💡 一句话要点
提出VisTacAlign以解决人机协同训练的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 灵巧操作 人机协同 多模态学习 触觉感知 机器人策略
📋 核心要点
- 现有方法在机器人策略训练中难以有效利用人类演示，导致人机协同的模态差距难以弥合。
- VisTacAlign框架通过重定向人类手部运动和对齐触觉信号，实现了人机演示的共同训练。
- 实验结果表明，在乐高组装、采摘草莓和操作电钻等任务中，结合人类演示的策略性能显著提升。
📝 摘要（中文）
人类演示是灵巧操作的廉价数据来源，但在其上共同训练机器人策略需要在策略所需的每种模态上缩小人机差距。本文提出了VisTacAlign，一个用于在人类和机器人演示上共同训练3D视觉触觉灵巧策略的框架。通过一次性指尖校正，将手套追踪的人手运动重定向到一个17自由度的触觉机器人手。然后，从立体视图中抹去人手，并用从机器人录制的像素绘制的姿态机器人手网格替换，实时立体基础模型在复合体上重新运行，使得人类点云携带与机器人相同的立体误差和可见性。最后，将电容触觉手套与机器人指尖传感器在信号空间中对齐，提供可解释的每指力表示。在三个需要精确力量的真实任务中，添加对齐的人类演示到现有的机器人数据中，优于仅使用机器人策略，消融实验表明触觉输入和视觉对齐都是必要的。
🔬 方法详解
问题定义：本文旨在解决在灵巧操作中如何有效利用人类演示数据的问题。现有方法在训练机器人策略时，难以缩小人机之间的模态差距，导致性能不足。
核心思路：VisTacAlign框架通过将人类手部运动重定向到机器人手，并对其视觉和触觉信号进行对齐，来实现人机演示的共同训练。这种设计使得机器人能够更好地理解和模仿人类的灵巧操作。
技术框架：该框架主要包括以下几个模块：首先，通过手套追踪技术获取人类手部运动；其次，将运动重定向到机器人手，并进行一次性指尖校正；然后，抹去人类手部并替换为机器人手网格，最后对触觉信号进行对齐。
关键创新：最重要的创新在于通过对人类和机器人演示的视觉和触觉信号进行对齐，使得机器人能够在训练中有效利用人类演示数据。这一方法与传统的单一模态训练方法本质上不同。
关键设计：在设计中，采用了17自由度的触觉机器人手，并使用电容触觉手套与机器人指尖传感器进行信号对齐。此外，使用扩散变换器处理点云、位置感知和每指触觉标记，以实现多模态信息的融合。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在乐高组装、草莓采摘和电钻操作等任务中，结合人类演示的策略性能提升显著，具体表现为相较于仅使用机器人数据的策略，性能提升幅度达到了XX%（具体数据未知）。
🎯 应用场景
该研究具有广泛的应用潜力，尤其是在需要精细操作的领域，如机器人辅助的制造、医疗手术和农业自动化等。通过提高机器人对人类操作的理解能力，未来可能实现更高效的协作和自动化系统。
📄 摘要（原文）
Human demonstrations are a cheap source of data for dexterous manipulation, but co-training a robot policy on them requires closing the human--robot gap in every modality the policy consumes. We present VisTacAlign, a framework for co-training 3D-visual-tactile dexterous policies on human and robot demonstrations. Glove-tracked human hand motion is retargeted to a 17-DoF tactile robot hand with a one-time fingertip correction. The human hand is then erased from both stereo views and replaced by a posed robot-hand mesh painted with pixels from robot recordings, and a real-time stereo foundation model is re-run on the composite, so the human point clouds carry the same stereo errors and visibility as the robot ones. Finally, a capacitive tactile glove is aligned to the robot's fingertip sensors in its signal space, giving one interpretable per-finger force representation. A diffusion transformer consumes point-cloud, proprioceptive, and per-finger tactile tokens. On three real-world tasks requiring precise force -- Lego assembly, plucking strawberries of varying size, and activating and lifting a power drill -- adding aligned human demonstrations to existing robot data improves over robot-only policies, and ablations show that both tactile input and visual alignment are necessary. Project page: https://vis-tac-align.github.io