TACIT: Tactile Contact Supervision for Spatial Attention in Dexterous Manipulation

📄 arXiv: 2609.24507v1 📥 PDF

作者: Yanhou Lai, Fucai Zhu, Ruiqiang Wang, Koichi Hashimoto

分类: cs.RO

发布日期: 2026-09-21

💡 一句话要点

提出TACIT以解决视觉运动策略在灵巧操作中的空间注意力问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 触觉接触 空间注意力 灵巧操作 机器人技术 视觉运动策略 监督学习 高斯目标 遥操作示范

📋 核心要点

  1. 现有的视觉运动策略在处理物体位置变化时表现不佳，缺乏有效的空间注意力机制。
  2. TACIT通过利用触觉接触数据来监督空间注意力，避免了对人工注释的依赖，提升了策略的灵活性。
  3. 在真实机器人实验中，TACIT在球体放置和插销插入任务中分别达到了66.7%和73.3%的成功率，显著优于对比基线。

📝 摘要（中文）

在少量示范下训练的视觉运动策略可能会重现示范轨迹，但无法可靠地跟随物体位置的变化。现有方法通常依赖于人工注释或视觉模型来获取空间先验。本文提出了TACIT（触觉接触信息注意力），利用来自遥操作示范的触觉接触数据来监督空间注意力，而无需额外的点注释。通过在训练期间使用高斯目标对前置相机点云进行监督，TACIT实现了在真实机器人基准测试中的显著成功率，分别为66.7%和73.3%。这些结果表明，测量的触觉接触为从少量示范中获取的接近行为提供了有效的空间监督。

🔬 方法详解

问题定义：本文旨在解决现有视觉运动策略在灵巧操作中对物体位置变化的响应不足的问题。现有方法通常依赖于人工注释或视觉模型来获取空间先验，导致灵活性不足。

核心思路：TACIT的核心思路是利用遥操作示范中测量的触觉接触数据来监督空间注意力，而无需额外的点注释。这种方法使得策略能够在接触时更好地调整其行为。

技术框架：TACIT的整体架构包括一个注意力头，该头通过对前置相机点云的高斯目标进行监督来进行训练。训练期间使用的目标在推理时不再使用，触觉观察仍然作为输入。

关键创新：TACIT的主要创新在于通过触觉接触数据提供空间监督，这与传统方法依赖视觉信息或人工注释的方式本质上不同，显著提升了策略的适应性。

关键设计：在设计中，TACIT使用了高斯目标来指导注意力头的输出，并在训练中通过触觉接触数据进行优化。具体的损失函数和网络结构细节未在摘要中详细说明，需参考原文获取更多信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在真实机器人实验中，TACIT在球体放置和插销插入任务中分别达到了66.7%和73.3%的成功率，显著优于输入匹配的3D视觉触觉融合（10.0%和20.0%）及仅基于视觉的DP3（20.0%和43.3%）。所有30次试验中，TACIT在12秒内进入150毫米的接触区域，显示出其高效性。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、灵巧操作和人机交互等。通过提升机器人在复杂环境中的操作能力，TACIT有望在工业自动化、服务机器人和医疗辅助等领域发挥重要作用，推动智能机器人技术的发展。

📄 摘要（原文）

Visuomotor policies trained from a few demonstrations may reproduce demonstrated trajectories without reliably following changes in object position. Existing approaches with explicit attention typically obtain spatial priors from human annotation or visual models. We introduce TACIT (tactile contact informs attention), which uses measured tactile contacts from teleoperated demonstrations to supervise spatial attention without additional point annotation. Gaussian targets over preceding camera point clouds supervise an attention head whose pooled output conditions a visuotactile diffusion policy. Targets are used only during training; tactile observations remain inputs at inference. In the primary real-robot benchmark, with ten demonstrations per task and five demonstrated placement regions, TACIT achieves 66.7% success on ball placement and 73.3% on peg insertion, compared with 10.0% and 20.0% for input-matched 3D visuotactile fusion and 20.0% and 43.3% for vision-only DP3. TACIT enters the 150 mm palm-to-object approach region within 12 seconds in all 30 trials per task; all remaining failures occur after arrival. Across three training seeds on real ball and simulated peg, TACIT outperforms input-matched fusion and an architecture-matched control without explicit attention supervision, supporting the contribution of supervision beyond branch capacity. Pre-contact and contact-time supervision show no consistent ordering. These results demonstrate that measured tactile contact provides effective spatial supervision for approach behavior from few demonstrations within the evaluated workspace.