Temporal Visuo-Tactile Learning for Dexterous Grasp Stability
作者: Ken Nakahara, Aleksei Buvailik, Prokhor Kotov, Roberto Calandra
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-10-07
备注: 12 Pages. Website: https://lasr-lab.github.io/dexterous-grasp-stability/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出动态触觉感知以提升灵巧抓取稳定性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 触觉感知 灵巧抓取 多模态学习 机器人技术 稳定性预测
📋 核心要点
- 现有的机器人抓取方法主要依赖视觉信息，忽视了触觉反馈的重要性，导致抓取稳定性不足。
- 本文提出了一种结合高分辨率动态触觉感知的时间多模态模型，以提高灵巧机器人抓取的稳定性预测能力。
- 实验结果显示，采用触觉信息后，抓取成功率提升了10.5个百分点，验证了该方法的有效性和实用性。
📝 摘要（中文）
人类在抓取日常物体时几乎可以达到完美的成功率，这得益于指尖的触觉反馈。然而，现有的机器人抓取文献主要强调基于视觉的抓取选择。本文系统性地研究了高分辨率动态触觉传感如何促进抓取稳定性预测和模型引导的灵巧机器人抓取。我们收集了一个包含10,000次抓取试验的数据集，使用配备四个Digit 360触觉传感器的多指机器人手，记录了抓取过程中的外部视觉、身体感知和触觉数据。通过训练端到端的时间多模态模型，我们能够从抓取观察中预测提升后的稳定性，并比较了不同的感知模态和编码骨干网络。实验结果表明，结合触觉，尤其是高分辨率动态触觉，显著提高了抓取稳定性预测。最终，我们将学习到的预测器作为在线稳定性门控部署在真实机器人上，基于视觉-触觉的模型引导重新抓取成功率提高了10.5个百分点。该研究展示了丰富的指尖感知和表达性时间模型如何支持多指手的学习抓取。
🔬 方法详解
问题定义：本文旨在解决现有机器人抓取方法中对触觉反馈的忽视，导致抓取稳定性不足的问题。现有方法多依赖视觉信息，缺乏对触觉动态变化的考虑。
核心思路：论文的核心思路是通过引入高分辨率动态触觉传感器，结合时间多模态模型，来提升抓取稳定性预测的准确性。这种设计能够更好地捕捉抓取过程中触觉的变化。
技术框架：整体架构包括数据采集、模型训练和在线部署三个主要阶段。首先，使用多指机器人手收集抓取数据；然后，训练时间多模态模型以进行稳定性预测；最后，将模型应用于真实机器人进行在线抓取。
关键创新：最重要的技术创新在于将高分辨率动态触觉信息与视觉信息结合，形成了一种新的抓取稳定性预测方法。这与传统的仅依赖视觉的抓取方法有本质区别。
关键设计：在模型设计中，采用了端到端的训练方式，结合了不同的感知模态和编码骨干网络，以优化抓取稳定性预测的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结合高分辨率动态触觉信息后，抓取成功率提升了10.5个百分点，相较于未使用触觉信息的基线方法，显示出显著的性能改进。这一结果验证了触觉在灵巧抓取中的重要性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提高机器人抓取的稳定性，可以显著提升机器人在复杂环境中的操作能力，进而推动智能制造和日常生活中的自动化进程。
📄 摘要（原文）
Humans can grasp everyday objects with almost perfect success rates using fingertip tactile feedback, yet much of the robotic grasping literature emphasizes vision-based grasp selection with parallel grippers. In this work, we systematically investigate how high-resolution, dynamic tactile sensing contributes to grasp stability prediction and model-guided grasping in dexterous robotic hands. To this end, we collected a dataset of 10,000 grasp trials across 200 objects using a multi-fingered robotic hand equipped with four Digit 360 tactile sensors, recording external vision, proprioception, and tactile streams throughout each grasp. With this dataset, we trained end-to-end temporal multimodal models to predict post-lift stability from pre-lift grasp observations and compared sensing modalities and encoding backbones. Experimental results and controlled input ablations show that incorporating touch, and particularly high-resolution, dynamic touch, improves grasp stability prediction. Finally, we deployed the learned predictor as an online stability gate on the real robot, where visuo-tactile model-guided regrasping improved the success rate among executed lifts by 10.5 percentage points over a non-tactile gate. These results show how rich fingertip sensing and expressive temporal models that capture the dynamics of touch can support learned grasping with multi-fingered hands without explicit contact or force modeling, providing a scalable data-driven path from tactile experience toward stable dexterous manipulation. The dataset is publicly available at https://lasr-lab.github.io/dexterous-grasp-stability/.