Tactile-JEPA: Topology-Aware Self-Supervised Representation Learning for Distributed Tactile Sensors

📄 arXiv: 2609.24385v1 📥 PDF

作者: Elizaveta Kovtun, Matvey Konovalov, Andrey Sakhovskiy, Semen Budennyy

分类: cs.RO, cs.AI

发布日期: 2026-09-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出Tactile-JEPA以解决分布式触觉传感器的自监督学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 触觉感知 自监督学习 机器人技术 拓扑感知 传感器网络 力估计 机器学习

📋 核心要点

  1. 现有的触觉传感器编码器通常从零开始训练，导致表现力不足，尤其是在处理分布式电子皮肤时。
  2. Tactile-JEPA通过利用触觉传感器的空间排列，采用双尺度遮蔽策略来学习拓扑感知表示，提升了编码器的表现力。
  3. 在三个不同的数据集上，Tactile-JEPA显著降低了力估计误差6.3%和手中方向误差20.8%，并在其他下游任务中也表现出一致的提升。

📝 摘要（中文）

触觉感知是机器人在视觉遮挡下进行接触丰富的灵巧操作的重要模态。尽管预训练的图像编码器在机器人学习中已成为标准，但触觉编码器仍常常从原始、噪声信号中从零开始训练，限制了其表现力。现有的自监督学习方法主要集中在基于视觉的触觉传感器上，而分布式电子皮肤则未得到充分关注。本文提出Tactile-JEPA，一种高效的自监督预训练方法，利用触觉传感器的空间排列学习拓扑感知表示。该方法通过从未遮蔽的传感元素预测遮蔽元素的嵌入，使用传感器连接图引导空间遮蔽。实验结果表明，Tactile-JEPA在三个不同数据集上显著降低了力估计误差6.3%和手中方向误差20.8%。

🔬 方法详解

问题定义：本文旨在解决分布式触觉传感器在自监督学习中的表现力不足问题。现有方法多集中于视觉传感器，未能有效利用触觉传感器的独特空间排列特性。

核心思路：Tactile-JEPA的核心思路是利用传感器的空间连接图，通过预测遮蔽的传感元素嵌入来学习拓扑感知表示。这种方法能够捕捉局部接触细节与触觉表面的全局状态。

技术框架：整体架构包括数据预处理、传感器连接图构建、双尺度遮蔽策略实施和嵌入预测模块。通过这些模块，模型能够有效学习到触觉数据的深层特征。

关键创新：Tactile-JEPA的关键创新在于其双尺度遮蔽策略和拓扑感知的学习方式，这与传统视觉自监督学习方法有本质区别，后者未能考虑传感器的稀疏和不规则排列。

关键设计：在设计中，采用了特定的损失函数来优化嵌入预测的准确性，并通过调整网络结构以适应触觉数据的特性，确保模型能够有效捕捉到重要的触觉信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

Tactile-JEPA在三个不同的数据集上表现出色，力估计误差降低了6.3%，手中方向误差降低了20.8%。这些结果表明，该方法在触觉传感器的自监督学习中具有显著的性能提升，且在其他下游应用中也展现出一致的改进。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、物体识别和人机交互等。通过提升触觉传感器的表现力，Tactile-JEPA能够显著改善机器人在复杂环境中的操作能力，推动智能机器人技术的发展。

📄 摘要（原文）

Tactile sensing is an essential modality for robots performing contact-rich, dexterous manipulation, particularly under visual occlusion. While pre-trained image encoders are standard in robot learning pipelines, tactile encoders are still commonly trained from scratch from raw, noisy signals, which might limit their expressivity. Existing self-supervised learning (SSL) approaches focus predominantly on vision-based tactile sensors, leaving distributed electronic skins largely unaddressed. These sensors, however, have a distinctive property: their sensing elements are sparse and irregularly arranged over the surface they cover, which makes direct reuse of visual SSL methods suboptimal. We present Tactile-JEPA, an efficient self-supervised pre-training method that uses the spatial arrangement of tactile sensors to learn topology-aware representations. Specifically, it is trained to predict the embeddings of masked sensing elements from the unmasked remainder, using the sensor connectivity graph to guide spatial masking. Our analysis shows that effective tactile representations require capturing both local contact details and the global state of the tactile surface, which we achieve through dual-scale masking. Across three diverse datasets spanning magnetic and piezoresistive sensors, different robot embodiments, and single- and paired-sensor configurations, Tactile-JEPA reduces force estimation error by 6.3% and in-hand orientation error by 20.8% over the prior state-of-the-art, with consistent gains in other downstream applications, including policy learning. Overall, our results demonstrate that the benefit of tactile sensing depends critically on the quality of encoder pre-training, a problem which Tactile-JEPA addresses directly. Code is available at https://github.com/E-Kovtun/tactile.