TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning

📄 arXiv: 2610.10288v1 📥 PDF

作者: Dayou Li, Hao Wang, Qianqian Yang, Zihao Zhu, Haoquan Fang, Ziyao Zeng, Yan Han, Zihan Wang, Yan Wang, Baoru Huang, Dilin Wang, Kenji Shimada, Yiyue Luo, Manling Li, Teresa Lv, Mustafa Mukadam, Rakesh Ranjan, Ruohan Zhang, Qi He, Changliu Liu, Xu Chen, Marco Pavone, Bangya Liu, Jiachen Li, Masayoshi Tomizuka, Zhiwen Fan

分类: cs.CV

发布日期: 2026-10-07

备注: Project page: https://touch-scale.github.io/

💡 一句话要点

提出TouchScale以解决视觉-触觉学习中的数据不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 视觉-触觉学习 人类交互数据 机器人操作 数据集 多模态学习

📋 核心要点

  1. 现有的视觉-触觉数据集在触觉数据量上远小于视频数据，导致物理交互的监督不足。
  2. TouchScale通过统一的可穿戴设备记录500小时的接触丰富人类交互数据，提供了高质量的视觉-触觉数据。
  3. 实验结果显示，使用TouchScale进行训练显著提升了机器人在接触丰富操作任务中的成功率和动作识别准确率。

📝 摘要（中文）

大规模的自我中心人类交互数据已成为具身学习的重要物理监督来源，但仅依赖视频无法记录物理交互中的接触和压力。虽然近期的视觉-触觉数据集提供了这一缺失的监督，但其同步触觉数据的体量仍远小于人类视频。为此，本文提出TouchScale，一个包含500小时接触丰富的人类交互数据集，使用统一的可穿戴设备记录。数据集包含约2000个预定义任务描述，涵盖日常活动和结构化操作，并将自我中心的RGB-D视频与手腕RGB视频及密集的双手触觉测量进行时间对齐。与之前的触觉数据相比，使用TouchScale进行训练使得在未见触觉传感器上的零-shot接触IoU从0.134提升至0.383。预训练视觉编码器后，在三个基准测试中获得了最高的动作识别准确率。此外，TouchScale在四个接触丰富的操作任务中将机器人平均成功率从22.5%提升至57.5%。

🔬 方法详解

问题定义：现有的视觉-触觉学习方法在触觉数据的规模和质量上存在不足，导致物理交互的监督信息缺失，影响模型的学习效果。

核心思路：本文提出TouchScale数据集，通过统一的可穿戴设备记录大量的视觉和触觉数据，确保数据的同步性和一致性，从而为视觉-触觉学习提供丰富的监督信息。

技术框架：TouchScale的整体架构包括数据采集、数据同步和数据标注三个主要模块。数据采集使用可穿戴设备记录RGB-D视频和触觉信息，数据同步确保不同传感器的数据在时间上的一致性，数据标注则提供了丰富的任务描述。

关键创新：TouchScale的最大创新在于其数据采集的统一性和大规模性，解决了以往数据集在触觉数据量和质量上的不足，提供了一个高质量的视觉-触觉学习基准。

关键设计：在数据采集过程中，采用了高频率的触觉传感器和高分辨率的视觉传感器，确保了数据的精确性。同时，设计了合理的任务描述和数据标注流程，以便于后续的模型训练和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用TouchScale进行训练后，零-shot接触IoU从0.134提升至0.383，机器人在四个接触丰富操作任务中的平均成功率从22.5%提升至57.5%。这些结果显示了TouchScale在视觉-触觉学习中的显著效果和实际应用潜力。

🎯 应用场景

TouchScale数据集的潜在应用领域包括机器人操作、虚拟现实、增强现实等。通过提供丰富的视觉-触觉数据，研究人员可以更好地训练机器人进行复杂的物理交互任务，提高其在实际环境中的表现。未来，该数据集将推动视觉-触觉学习的研究进展，促进人机交互技术的发展。

📄 摘要（原文）

Large-scale egocentric human interaction data is becoming an important source of physical supervision for embodied learning, yet video alone leaves the contact and pressure that characterize physical interaction unrecorded. Recent visual-tactile datasets provide this missing supervision, but their synchronized tactile data remain far smaller in volume than human video. Moreover, the largest resources often merge recordings from different sensors or annotation procedures, which makes the effect of data scale difficult to isolate. We therefore introduce TouchScale, a 500-hour dataset of contact-rich human interaction recorded with a single unified wearable setup. Its approximately 2K predefined task descriptions span everyday activities and structured manipulation, and each recording temporally aligns egocentric RGB-D video with wrist RGB video and dense full-hand bimanual tactile measurements. Compared with prior tactile data, training on the full TouchScale raises zero-shot contact IoU on data from an unseen tactile sensor from 0.134 to 0.383. Pretraining a visual encoder on TouchScale also yields the highest action recognition accuracy on three benchmarks among the compared visual-tactile datasets. Used for visual-tactile mid-training of a robot policy, TouchScale improves the average real-world success rate across four contact-rich manipulation tasks from 22.5% to 57.5%. With the sensor and collection protocol held fixed, both zero-shot tactile prediction and robot success show an overall upward trend as more TouchScale data is used. These results suggest that human visual-tactile data collected at scale with consistent sensing benefits both perception and robot manipulation. We will publicly release TouchScale, including all synchronized visual-tactile recordings and reconstructed object models, to support future research on scalable visual-tactile learning.