TacClaw-Infinity: A Large-Scale Vision-Tactile-Language-Action Dataset for Dexterous Manipulation

📄 arXiv: 2610.20320v1 📥 PDF

作者: Fucai Zhu, Xidong Zhang, Yichi Zhang, Yipan Wang, Fubo Wang, Zibin Wu, Kaiqi Li, Jianhao Jiao, Shihan Lu, Di Hu, Mengdi Xu, Siyu Zhu, Xiaoxiao Long, Yao Yao, Xun Cao, Zhuo Xu, Koichi Hashimoto, Qifeng Chen, Zhe Li, Jianfei Yang, Haofei Lu, Danica Kragic, Shuicheng Yan, Jianghua Duan, Michael Yu Wang, Weihao Yuan

分类: cs.RO

发布日期: 2026-10-14

💡 一句话要点

提出TacClaw-Infinity以解决触觉操控数据收集难题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 触觉操控 多模态数据集 机器人学习 数据收集 跨机器人转移 智能系统 人机交互

📋 核心要点

  1. 现有的触觉操控数据集在规模化和质量控制方面存在不足，限制了机器人学习的进展。
  2. TacClaw-Infinity通过分布式收集和多模态数据记录，提供了一个高质量的VTLA数据集，解决了触觉数据收集的难题。
  3. 在数据和模型层面验证了TacClaw-Infinity的有效性，展示了跨机器人转移能力，提升了操控任务的泛化能力。

📝 摘要（中文）

随着机器人学习对多样化人类示范的依赖日益增加，触觉操控数据的规模化仍然面临挑战，现有的多模态数据集往往缺乏一致的质量控制和结构化监督。本文提出了TacClaw-Infinity，一个大规模的结构化视觉-触觉-语言-动作（VTLA）数据集，专注于接触丰富的操控任务。该数据集通过TacClaw收集，记录了同步的视觉观察、指尖触觉信号和末端执行器轨迹，且在数据收集过程中无需目标机器人。TacClaw-Infinity通过全球分布式收集，涵盖家庭、实验室、工业工作场所、零售店和户外环境，包含来自学术和工业合作伙伴的任务，最终生成超过10,000小时、1百万个事件和10亿帧数据，涵盖超过1,000种任务类型。

🔬 方法详解

问题定义：本文旨在解决触觉操控数据收集的规模化问题，现有方法在数据质量和结构化监督方面存在不足，限制了多模态学习的应用。

核心思路：提出TacClaw-Infinity数据集，通过使用TacClaw设备收集同步的视觉、触觉和动作数据，确保数据的多样性和质量。

技术框架：数据收集采用分布式全球网络，涵盖多个环境和任务类型，数据处理包括轨迹重建、多模态质量控制和结构化注释。

关键创新：TacClaw-Infinity的创新在于其大规模的多模态数据集成和跨机器人转移能力，突破了传统数据集的局限性。

关键设计：在数据收集过程中，采用了高精度的触觉传感器和视觉记录设备，确保数据的准确性和一致性，同时设计了有效的注释和过滤机制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TacClaw-Infinity在数据层面验证了其有效性，展示了跨三种异构机器人之间的转移能力，且无需特定机器人的示范，显著提升了操控任务的泛化能力，展示了在多模态学习中的潜力。

🎯 应用场景

TacClaw-Infinity数据集可广泛应用于机器人操控、智能家居、工业自动化等领域，推动多模态学习和人机交互的研究与发展。其高质量的数据集为机器人学习提供了丰富的训练资源，促进了智能系统的智能化和自动化进程。

📄 摘要（原文）

Large-scale robot learning increasingly relies on diverse human demonstrations, yet tactile manipulation data remain difficult to scale, and existing multimodal datasets often lack consistent quality control and structured supervision. We present TacClaw-Infinity, a large-scale structured Vision-Tactile-Language-Action (VTLA) dataset for contact-rich manipulation, collected with TacClaw, a tactile-enabled UMI-style handheld interface that records synchronized visual observations, fingertip tactile signals, and end-effector trajectories without requiring a target robot during data collection. TacClaw-Infinity is built through a distributed worldwide collection across homes, laboratories, industrial workplaces, retail stores, and outdoor environments including tasks contributed by academic and industrial collaborators. Together, these efforts yield over 10,000 hours, 1 million episodes, and 1 billion frames spanning more than 1,000 task types. We develop a scalable pipeline for trajectory reconstruction, multimodal quality control, embodiment-aware filtering, and structured annotation, covering contact-centric segmentation, subtask description, and spatial grounding. We validate TacClaw-Infinity at both the data and model levels: At the data level, we assess the collection interface, the action-space compatibility of the curated demonstrations, and the structured annotations, while for the model level, we demonstrate cross-embodiment transfer across three heterogeneous robots without robot-specific demonstrations.