Ego2Contact: Predicting Touch from Egocentric Human Video for Contact-Rich Robot Manipulation
作者: Qianqian Yang, Dayou Li, Bangya Liu, Zihao Zhu, Nuo Chen, Siyuan Xu, Hezhen Hu, Chen Yu, Rebecca Friesen, Minghui Zheng, Cynthia Hipwell, Xiaoning Qian, Kenji Shimada, Zhiwen Fan
分类: cs.RO
发布日期: 2026-10-16
备注: 8 pages, 6 figures
💡 一句话要点
提出Ego2Contact以解决机器人触觉感知不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 机器人操作 触觉感知 视觉-触觉融合 强化学习 人机交互
📋 核心要点
- 现有方法依赖于专用触觉硬件，导致机器人触觉数据稀缺，限制了接触丰富操作的能力。
- Ego2Contact通过学习人类的视觉-触觉先验，将其转移至机器人手，利用RGB视频推断触觉场。
- 实验结果显示，Ego2Contact在适应后在机器人数据上表现优于先前方法，并在模拟中提升了策略性能。
📝 摘要（中文）
接触位置和交互力对于接触丰富的机器人操作至关重要，但仅凭视觉往往难以明确。现有方法依赖于专用的触觉硬件和平台特定的数据收集，导致机器人触觉数据稀缺。本文提出Ego2Contact，通过学习人类交互的视觉-触觉先验，将其转移到机器人手上，从而在RGB视频中推断双手的触觉场。实验表明，Ego2Contact在适应后在机器人数据上优于先前的触觉预测器，并为模拟强化学习和真实机器人策略后训练提供触觉输入。
🔬 方法详解
问题定义：本文旨在解决机器人在接触丰富操作中缺乏有效触觉感知的问题。现有方法依赖于人类手部的触觉数据，无法直接应用于机器人手，导致触觉信息的获取困难。
核心思路：Ego2Contact的核心思路是通过学习人类交互的视觉-触觉先验，将其转移到机器人手上。该方法利用人类的RGB视频数据，结合时间场景上下文和手部局部视觉特征，推断出双手的触觉场。
技术框架：Ego2Contact的整体架构包括数据收集、视觉特征提取、触觉场推断和适应性训练四个主要模块。首先，通过人类的RGB视频数据进行特征提取，然后将这些特征与触觉信息进行融合，最后通过适应性训练将模型应用于机器人手。
关键创新：Ego2Contact的主要创新在于其将人类学习的触觉先验有效转移至机器人手，解决了人类手与机器人手在外观和触觉布局上的差异。这一方法突破了传统触觉预测器的局限，使得机器人能够在缺乏直接触觉感知的情况下进行操作。
关键设计：在模型设计中，Ego2Contact采用了特定的损失函数来优化触觉场的预测精度，并通过对不同机器人手的解剖区域进行对应，使得触觉测量能够作为微调目标。此外，网络结构中融合了时间序列信息，以增强对动态场景的理解。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Ego2Contact在适应后在机器人数据上的性能优于先前的触觉预测器，尤其是在未见物体的情况下。此外，使用预测触觉的策略在模拟中显著优于非触觉基线，部分恢复了真实触觉感知的优势。
🎯 应用场景
Ego2Contact的研究成果在机器人操作、自动化制造和人机交互等领域具有广泛的应用潜力。通过提供有效的触觉输入，机器人能够在复杂环境中进行更精确的操作，提升其自主性和灵活性。未来，该技术有望在服务机器人和医疗机器人等领域发挥重要作用。
📄 摘要（原文）
Contact locations and interaction forces are critical for contact-rich robot manipulation but are often ambiguous from vision alone. Measuring them on robots requires specialized tactile hardware and platform-specific data collection, which keeps robot tactile data scarce. Human egocentric video is far easier to scale but lacks touch. Recent predictors trained on egocentric recordings paired with tactile-glove measurements can predict this missing signal from video alone. These predictors, however, remain confined to human hands, which differ from robot hands in appearance and tactile layout. We present Ego2Contact, which learns a visual-tactile prior from human interactions and transfers it to robot hands. Its predictor fuses temporal scene context with hand-local visual features to infer bimanual tactile fields from the RGB video. Anatomical region correspondences align varying robot tactile layouts with the predictor's canonical grid, turning robot measurements into fine-tuning targets and predictions into policy inputs. Ego2Contact outperforms prior tactile predictors on human data, including unseen objects, and on robot data after adaptation. The adapted predictor provides tactile inputs for both simulated reinforcement learning and real-robot policy post-training. In simulation, policies using predicted touch outperform non-tactile baselines and recover part of the benefit of ground-truth tactile sensing. These results show that human-learned tactile priors can supply touch when direct tactile sensing is limited.