Multi-Resolution Tactile Imitation Learning for Contact-Rich Robotic Manipulation

📄 arXiv: 2606.06281v1 📥 PDF

作者: Rickmer Krohn, Erik Helmut, Niklas Funk, Jan Peters, Vignesh Prasad, Georgia Chalvatzaki

分类: cs.RO

发布日期: 2026-06-04

备注: 20 pages, preprint

💡 一句话要点

提出多分辨率触觉模仿学习以解决接触丰富的机器人操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 触觉传感 模仿学习 多模态融合 机器人操控 深度学习

📋 核心要点

  1. 现有方法在利用多种触觉传感器进行操控学习时，未能充分发挥其潜力，导致性能不足。
  2. 本文提出的MiTaS框架通过融合多种触觉传感器的信息，提升了复杂操控任务的学习效果。
  3. 实验结果显示，MiTaS在多项任务中成功率达到80%，而传统方法的成功率明显低于此水平。

📝 摘要（中文）

触觉传感在解决多种操控任务中具有重要意义。尽管存在多种不同特性的触觉传感器，但利用多种异构触觉传感器的融合来提升操控学习仍然未被充分探索。本文提出了一种多分辨率触觉感知框架（MiTaS），该框架利用不同时间分辨率的多种触觉传感器来解决复杂的接触丰富操控任务。我们提出了一种新颖的架构，使用特定模态的卷积网络和基于变换器的融合，有效融合来自RGB相机流、基于视觉的GelSight Mini传感器和高频事件驱动的Evetac传感器的信息。实验结果表明，MiTaS在五个接触丰富的操控任务中取得了80%的平均成功率，显著优于仅使用视觉（31%）和视觉-触觉（54%）的基线模型。

🔬 方法详解

问题定义：本文旨在解决在复杂接触丰富的操控任务中，现有触觉传感器融合利用不足的问题。现有方法通常依赖单一传感器，未能有效整合多种传感器的信息，导致操控性能受限。

核心思路：论文提出的MiTaS框架通过结合多种触觉传感器的多分辨率数据，利用模态特定的卷积网络和变换器进行信息融合，从而提升操控任务的学习效果。这样的设计旨在充分利用不同传感器的优势，增强对复杂环境的适应能力。

技术框架：MiTaS的整体架构包括多个模块：首先是不同传感器的数据采集模块，接着是模态特定的卷积网络用于特征提取，最后通过变换器进行信息融合，形成一个统一的表示，进而用于下游任务的策略学习。

关键创新：最重要的技术创新在于提出了一种多分辨率触觉感知的融合方法，能够有效整合来自不同传感器的信息，显著提升了模仿学习的性能。这与传统方法的单一传感器依赖形成鲜明对比。

关键设计：在网络结构上，采用了模态特定的卷积网络以提取各传感器的特征，并使用变换器进行特征融合。此外，实验中还进行了详细的传感器读取和注意力分析，以验证不同传感器在任务执行过程中的重要性。具体的损失函数和参数设置在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MiTaS在五个接触丰富的操控任务中取得了80%的平均成功率，显著高于视觉单一（31%）和视觉-触觉（54%）的基线模型。此外，在某些任务中，与多模态数据共同训练的视觉-触觉模型性能提升超过10%。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、装配和其他需要精细操控的任务。通过提升机器人在复杂环境中的触觉感知能力，MiTaS有望在工业自动化、医疗机器人及服务机器人等领域发挥重要作用，推动智能机器人技术的发展。

📄 摘要（原文）

Touch sensing is beneficial for solving a wide variety of manipulation tasks. While there exists a wide range of tactile sensors with different properties, exploiting the fusion of multiple heterogeneous tactile sensors to improve manipulation learning remains underexplored. We present Multi-Resolution Tactile Sensing (MiTaS), a representation framework that leverages multiple tactile sensors operating at different temporal resolutions in order to solve complex contact-rich manipulation tasks. We propose a novel architecture using modality-specific convolutional stems and transformer-based fusion that effectively fuses information from an RGB camera stream, a vision-based GelSight Mini sensor and a high-frequency event-based Evetac sensor. This multi-sensor representation then conditions a flow-matching policy for solving downstream tasks. Experimental results across five contact-rich manipulation tasks demonstrate the effectiveness of multi-resolution tactile features in imitation learning. MiTaS achieves an average success rate of 80 %, while vision-only (31 %) and visual-tactile (54 %) baselines cannot solve the task reliably. Co-training a visuo-tactile model with multi-tactile data boosts performance by over 10 \% in certain tasks, without having access to the Evetac sensor during policy evaluation. A detailed sensor-reading and attention analysis reveals the importance of different sensors throughout task execution, validating our multi-resolution tactile sensing approach. Project Page: http://mitas-touch.github.io.