UniDex-ViTac: Learning Unified Visuo-Tactile Dexterous Manipulation Policy from Human Video Data
作者: Hyesung Lee, Si-Hwan Heo, Sungwook Yang
分类: cs.RO
发布日期: 2026-09-15
备注: 8 pages, 7 figures, 2 tables. Project page: https://unidex-vitac.github.io/
💡 一句话要点
提出UniDex-ViTac以解决机器人操作中的触觉与视觉融合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 视觉-触觉融合 灵巧操作 人类视频引导 强化学习 机器人技术 仿真训练 多模态学习
📋 核心要点
- 现有方法在机器人灵巧操作中缺乏有效的触觉反馈和人类示范的可执行性，限制了其应用。
- UniDex-ViTac框架通过人类视频引导仿真生成机器人演示，结合触觉信息训练视觉-触觉策略，提升了操作的灵活性和准确性。
- 在实验中，该方法在仿真中实现68.3%的成功率，物理试验中成功率达到66.4%，相较于基线提升了11.8个百分点。
📝 摘要（中文）
人类视频展示了灵巧操作，但缺乏机器人可执行的动作和触觉测量。本文提出UniDex-ViTac框架，通过人类视频引导的仿真生成机器人演示，并配对指尖接触观察，以训练可部署的视觉-触觉策略。对象特定的残差强化学习专家将注释的人机交互参考适配到机器人手臂系统。通过50个示范收集10,000条仿真轨迹，训练出基于变换器的通用策略。该策略结合点云、运动觉和四个二元接触信号，成功在仿真中实现68.3%的宏观平均成功率，并在物理试验中取得66.4%的成功率，显示出从视频引导的仿真交互中学习统一的视觉-触觉灵巧操作策略的可行性。
🔬 方法详解
问题定义：本研究旨在解决机器人在灵巧操作中缺乏有效触觉反馈和人类示范可执行性的问题。现有方法往往依赖于固定的视觉输入，无法灵活适应不同的操作场景。
核心思路：UniDex-ViTac框架通过人类视频引导的仿真生成机器人演示，结合触觉信息，训练出一个可部署的视觉-触觉策略。该方法通过适配人机交互参考，增强了机器人在复杂环境中的操作能力。
技术框架：该框架主要包括三个模块：人类视频数据收集、仿真生成机器人演示、以及基于变换器的策略训练。首先收集50个示范视频，生成10,000条仿真轨迹，然后利用这些轨迹训练出一个通用的操作策略。
关键创新：本研究的创新点在于将人类视频引导的仿真与触觉信息结合，形成了一种新的训练策略，克服了传统方法对人类示范的依赖，且无需在部署时获取对象的身份和姿态信息。
关键设计：策略中结合了点云、运动觉和四个二元接触信号，采用变换器架构进行Action Chunking，设计了特定的损失函数以优化策略的学习效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，UniDex-ViTac在仿真中实现68.3%的宏观平均成功率，明显优于基线的55.5%。在物理试验中，该方法在110次试验中成功率达到66.4%，相比基线提升了11.8个百分点，显示出其有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等。通过实现视觉与触觉的有效融合，UniDex-ViTac能够提升机器人在复杂环境中的操作能力，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Human videos provide demonstrations of dexterous manipulation but lack robot-executable actions and tactile measurements. We present UniDex-ViTac, a framework that uses human-video-guided simulation to generate robot demonstrations paired with fingertip contact observations for training a deployable visuo-tactile policy. Object-specific residual reinforcement learning specialists adapt annotated human-object interaction references to a robotic arm-hand system. Their successful rollouts pair final robot action targets with robot-side fingertip contact observations. From 50 human demonstrations across ten objects, we collect 10,000 simulated trajectories to train a single Action Chunking with Transformers (ACT) based generalist. The policy combines point clouds, proprioception, and four binary contact signals encoded through fingertip labels and a separate token, without requiring human references or privileged object identity and pose at deployment. The contact-augmented configuration achieves 68.3% macro-average success in simulation, compared with 55.5% for the point-cloud-only baseline. Without real-robot demonstrations or policy fine-tuning, it succeeds in 73/110 physical trials (66.4%) across six seen and five unseen objects, compared with 60/110 (54.5%) for the baseline, an increase of 11.8 percentage points. These results support the feasibility of learning a unified visuo-tactile dexterous manipulation policy from video-guided simulated interactions. Project page: https://unidex-vitac.github.io/