TouchSight: Bare-Handed Tactile Prediction from Egocentric Video via Generative Visual Augmentation
作者: Danyan Zhou, Jinxuan Lu, Jiawei Lin, Tianxing Chen, Chuqiao Lyu, Wenbo Ding
分类: cs.CV, cs.AI
发布日期: 2026-09-17
💡 一句话要点
提出TouchSight以解决无侵入式触觉信号预测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱五：交互与反应 (Interaction & Reaction) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 触觉信号 自我中心视觉 生成模型 手物体交互 机器人操作 无侵入式预测 数据集构建
📋 核心要点
- 现有的触觉传感方法依赖于直接测量，导致数据收集过程复杂且成本高昂，限制了大规模应用。
- TouchSight通过利用自我中心视觉和生成模型，解决了手套数据与裸手场景之间的外观差距，实现了无侵入式的触觉信号预测。
- 实验结果表明，TouchSight在接触力预测上优于现有方法，并在不同数据集上展现出良好的泛化能力，性能随着训练数据的增加而提升。
📝 摘要（中文）
触觉信号提供了直接的接触和力测量，对于理解物理交互和实现灵巧的机器人操作至关重要。然而，传统的触觉传感需要在接触界面进行直接测量，导致大规模数据收集依赖于侵入性、昂贵且限制性的仪器。本文提出了TouchSight，一个单目自我中心视觉框架，利用500小时的压力手套记录和大量的手物体交互数据，进行密集的全手接触力预测。为了解决手套训练数据与裸手真实场景之间的外观差距，我们构建了TwinTouch-20H：20小时的配对视觉数据，通过生成视频模型将手套记录重新渲染为裸手观察，同时保留原始的触觉标签。TouchSight在OakInk2上超越了先前的接触预测方法，并在未见数据集的自然裸手自我中心视频中进行了定性泛化，随着手套监督的增加，性能持续提升。这些结果表明，仅通过自我中心视觉即可恢复密集的触觉信号，而无需在捕获时使用触觉仪器。
🔬 方法详解
问题定义：本文旨在解决传统触觉传感器在数据收集中的高成本和侵入性问题，现有方法在处理裸手交互时存在外观差距。
核心思路：TouchSight通过构建生成模型，将手套记录转换为裸手视觉数据，从而实现无侵入式的触觉信号预测，避免了传统方法的局限性。
技术框架：TouchSight的整体架构包括数据采集、生成模型训练和接触力预测三个主要模块。首先，收集手套数据和手物体交互数据；然后，使用生成模型将手套数据转换为裸手数据；最后，利用转换后的数据进行接触力预测。
关键创新：最重要的创新在于TwinTouch-20H数据集的构建和生成模型的应用，使得模型能够在没有触觉传感器的情况下，仅通过视觉数据进行准确的触觉预测。
关键设计：在模型设计中，采用了特定的损失函数以确保生成数据的真实性，并优化了网络结构以提高预测精度，特别是在处理复杂的手物体交互时。该方法的有效性随着手套监督数据的增加而显著提升。
🖼️ 关键图片
📊 实验亮点
在OakInk2数据集上，TouchSight的接触力预测性能显著优于现有方法，展示了在未见数据集上的良好泛化能力。随着手套监督数据的增加，模型的预测精度持续提升，证明了其在实际应用中的有效性。
🎯 应用场景
TouchSight的研究成果在机器人操作、虚拟现实和增强现实等领域具有广泛的应用潜力。通过实现无侵入式的触觉信号预测，能够提升机器人在复杂环境中的操作能力，增强人机交互体验，并推动智能设备的进一步发展。
📄 摘要（原文）
Tactile signals provide direct contact and force measurements that are essential for understanding physical interactions and enabling dexterous robotic manipulation. However, tactile sensing requires direct measurement at contact interfaces, making large-scale data collection reliant on intrusive, costly, and restrictive instrumentation. We present TouchSight, a monocular egocentric vision framework for dense full-hand contact force prediction that leverages 500 hours of pressure-glove recordings and extensive hand-object interaction (HOI) data. To address the appearance gap between gloved training data and bare-hand real-world scenarios, we construct TwinTouch-20H: 20 hours of paired visual data in which generative video models re-render gloved recordings as bare-hand observations against new backgrounds while preserving the original measured tactile labels. TouchSight predicts dense force from both gloved and generated bare-hand videos, outperforms prior contact prediction methods on OakInk2, qualitatively generalizes to natural bare-hand egocentric videos from unseen datasets, and improves consistently as glove supervision scales. These results demonstrate that dense tactile signals can be recovered from egocentric vision alone, without tactile instrumentation at capture time.