SlipSense: Multimodal Tactile Learning for Low-Latency and Generalized Slip Detection
作者: Tong Jian, Aditya Thurvas Senthil Kumar, Xinyi Li, Ziling Chen, Tianyu Dai, Ali Sengul, Matteo Grimaldi, Wenjie Lu, Saleh Nabi, Tao Yu
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-09-14
备注: Accepted to CoRL 2026
💡 一句话要点
提出SlipSense以解决低延迟和跨平台滑动检测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 滑动检测 多模态融合 压阻传感器 加速度计 机器人操作 实时检测 跨平台泛化
📋 核心要点
- 现有滑动检测系统在检测延迟和跨平台泛化能力上存在不足，限制了其在灵巧操作中的应用。
- SlipSense通过结合压阻阵列和加速度计的多模态数据，提供互补的滑动检测线索，提升了检测精度和速度。
- 在实验中，SlipSense在大规模数据集上表现出色，达到了96.7%的宏观F1分数，且在不同平台上实现了零-shot泛化。
📝 摘要（中文）
滑动检测是灵巧操作的基础，但现有系统往往缺乏对检测延迟的精确表征和跨平台的泛化能力。本文提出了SlipSense，一个基于TacV5的多模态触觉滑动检测框架。TacV5集成了一个32×32的压阻阵列（工作频率240 Hz）和一个三轴MEMS加速度计（工作频率8 kHz），分别捕捉空间压力分布和摩擦引起的振动，提供互补的滑动线索。该框架实现了模态特定编码、传感器内部融合和跨模态注意力机制，具有240 Hz的因果时间预测能力。实验结果表明，SlipSense在1.4百万帧的37个物体数据集上达到了96.7%的宏观F1分数，假阳性率低于1.6%，并在23.1毫秒内检测到76%的滑动事件。即使仅使用UMI数据进行训练，SlipSense也能在未见物体和不同传感器单元及机器人平台上实现零-shot泛化。
🔬 方法详解
问题定义：本文旨在解决现有滑动检测系统在检测延迟和跨平台泛化能力方面的不足。现有方法通常无法准确捕捉滑动事件的特征，导致操作效率低下。
核心思路：SlipSense的核心思路是通过多模态传感器融合，结合压阻阵列和加速度计的数据，提供更全面的滑动检测信息。这种设计能够有效捕捉滑动事件的不同特征，提高检测的准确性和响应速度。
技术框架：SlipSense的整体架构包括模态特定编码、传感器内部融合和跨模态注意力机制。首先，压阻阵列和加速度计分别对数据进行编码，然后通过内部融合模块整合信息，最后利用跨模态注意力机制进行因果时间预测，确保在240 Hz的频率下进行实时检测。
关键创新：SlipSense的主要创新在于其多模态融合策略和跨模态注意力机制的应用。这与现有方法的单一模态检测形成鲜明对比，显著提升了滑动检测的准确性和速度。
关键设计：在设计中，SlipSense采用了240 Hz的压阻阵列和8 kHz的加速度计，确保了高频率数据采集。同时，损失函数设计考虑了假阳性率和检测延迟，优化了模型的整体性能。
🖼️ 关键图片
📊 实验亮点
SlipSense在1.4百万帧的实验数据集上达到了96.7%的宏观F1分数，假阳性率低于1.6%。在检测滑动事件方面，76%的事件在23.1毫秒内被成功识别。此外，SlipSense在仅使用UMI数据训练的情况下，能够实现对Tesollo灵巧手的零-shot泛化，展现了其优越的跨平台能力。
🎯 应用场景
SlipSense的研究成果在机器人抓取、智能制造和人机交互等领域具有广泛的应用潜力。通过提高滑动检测的准确性和响应速度，该技术能够显著提升灵巧操作的效率，推动智能机器人在复杂环境中的应用。未来，SlipSense还可能扩展到更多的传感器融合场景，进一步提升机器人的操作能力。
📄 摘要（原文）
Slip detection is fundamental to dexterous manipulation, yet existing systems often lack precise characterization of detection latency and cross-platform generalization. We present SlipSense, a multimodal tactile slip-detection framework built on TacV5, a compact sensor integrating a $32 \times 32$ piezoresistive array operating at 240 Hz and a 3-axis MEMS accelerometer operating at 8 kHz. The piezoresistive array captures spatial pressure distributions, while the accelerometer captures friction-induced vibrations, providing complementary slip cues. The framework performs modality-specific encoding, intra-sensor fusion, and cross-modal attention with causal temporal prediction at 240 Hz. Experiments on a dataset of 1.4 million frames spanning 37 objects demonstrate the complementarity of the two modalities. SlipSense achieves 96.7% Macro F1 with a false-positive rate below 1.6%, detecting 76% of slip events within 23.1 ms. When trained solely on UMI data, SlipSense generalizes zero-shot to a Tesollo dexterous hand, transferring across unseen objects, distinct sensor units, and robotic platforms without retraining.