ZeroTouch: Tactile-Supervised Visual Contact Estimation for Contact-Rich Manipulation

📄 arXiv: 2609.21726v1 📥 PDF

作者: Dmitriy Kosenkov, Daniia Zinniatullina, Miguel Altamirano Cabrera, Iana Zhura, Mikhail Derevianchenko, Dzmitry Tsetserukou

分类: cs.RO

发布日期: 2026-09-18

💡 一句话要点

提出ZeroTouch框架以解决机器人抓取中的接触估计问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人抓取 接触估计 触觉传感器 深度学习 物理交互

📋 核心要点

  1. 现有方法在机器人抓取中缺乏有效的接触估计，尤其是在没有触觉传感器的情况下。
  2. ZeroTouch框架通过利用RGB图像和夹持器状态来预测接触变形和扭矩，避免了对专用硬件的依赖。
  3. 实验结果显示，ZeroTouch在不同条件下的成功率显著高于现有方法，验证了其有效性。

📝 摘要（中文）

可靠的机器人抓取依赖于对不断变化的物理交互进行估计，并选择依赖于抓取的压缩目标。触觉传感器提供直接的交互测量，但在部署时需要专用硬件。本文提出了ZeroTouch，一个触觉监督框架，该框架从手腕RGB观察、夹持器状态和局部重力方向中预测密集接触变形、瞬时六轴扭矩和依赖于抓取的期望压缩目标。触觉测量仅在训练期间作为特权监督使用，部署时不再需要。在完整验证集上，该架构将正常力的平均绝对误差从2.017 N降低到0.531 N。在对20次试验的物理评估中，ZeroTouch在未见物体上实现了95%的成功率，在见物体/未见抓取条件下为80%，在内容/负载转移下为90%。在相同评估协议下，OpenVLA的成功率分别为25%、40%和55%，而SmolVLA的成功率为10%、25%和35%。

🔬 方法详解

问题定义：本文旨在解决机器人抓取过程中对接触状态的准确估计问题。现有方法通常依赖于触觉传感器，但这些传感器在实际部署中需要额外的硬件支持，限制了其应用。

核心思路：ZeroTouch框架的核心思想是通过RGB图像、夹持器状态和重力方向来预测接触变形和扭矩，而不依赖于实时的触觉反馈。这种设计使得系统在部署时更加灵活和经济。

技术框架：ZeroTouch的整体架构包括数据采集模块（RGB图像和夹持器状态）、特征提取模块、接触变形和扭矩预测模块，以及压缩目标选择模块。各模块之间通过深度学习网络连接，形成一个端到端的学习系统。

关键创新：ZeroTouch的主要创新在于将触觉测量作为训练期间的监督信号，而在实际应用中不再需要触觉传感器。这一策略显著提高了系统的适应性和实用性。

关键设计：在网络结构上，ZeroTouch采用了多层卷积神经网络来提取特征，并使用自定义的损失函数来优化接触变形和扭矩的预测精度。关键参数设置经过多次实验调整，以确保模型的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ZeroTouch在完整验证集上的表现显著优于现有方法，正常力的平均绝对误差从2.017 N降至0.531 N。在物理评估中，ZeroTouch在未见物体上成功率达到95%，在见物体/未见抓取条件下为80%，在内容/负载转移下为90%。相比之下，OpenVLA和SmolVLA的成功率明显较低，分别为25%和10%。

🎯 应用场景

ZeroTouch框架具有广泛的应用潜力，尤其在需要高精度抓取的机器人操作中，如工业自动化、服务机器人和医疗机器人等领域。其无需专用触觉传感器的特性，使得机器人在复杂环境中的操作更加灵活，降低了硬件成本，提升了实用性。未来，该技术可能推动更多智能机器人在动态环境中的应用。

📄 摘要（原文）

Reliable robotic grasping benefits from estimating the evolving physical interaction and selecting a grasp-dependent compression target. Tactile sensors provide direct interaction measurements but require dedicated hardware at deployment. We introduce ZeroTouch, a tactile-supervised framework that predicts dense contact deformation, the instantaneous six-axis wrench, and a grasp-dependent desired compression target from wrist RGB observations, gripper state, and local gravity direction. Tactile measurements are used only as privileged supervision during training and are not required at deployment. On the full validation set, the complete architecture reduces normal-force MAE from 2.017 N for a state-only baseline to 0.531 N. In physical evaluation with 20 trials per condition, ZeroTouch achieves 95% success on an unseen object, 80% in a seen-object/unseen-grasp condition, and 90% under a content/load shift. Under the same evaluation protocol, OpenVLA achieves 25%, 40%, and 55%, while SmolVLA achieves 10%, 25%, and 35%, respectively.