Equivariant Visual-Tactile Diffusion Policy for Contact-Rich Manipulation

📄 arXiv: 2610.03333v1 📥 PDF

作者: Lik Hang Kenny Wong, Yiyao Ma, Xiu-Shen Wei, Zelong Tan, Zhuheng Song, Dongsheng Xie, Kai Chen, Qi Dou

分类: cs.RO, cs.AI

发布日期: 2026-10-02

备注: 21 pages, 6 figures. Accepted to the 10th Conference on Robot Learning (CoRL 2026)

💡 一句话要点

提出VISTA以解决接触丰富操控中的样本效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 接触丰富操控 视觉-触觉融合 样本效率 机器人技术 扩散策略 数据高效

📋 核心要点

  1. 现有的接触丰富操控模仿学习方法依赖于高质量的专家数据，获取成本高，导致样本效率低下。
  2. VISTA通过将视觉和触觉信息融合到球面标记中，并利用末端执行器的方向进行旋转，来提高模仿学习的样本效率。
  3. 实验结果显示，VISTA在模拟和真实环境中均显著提升了数据效率，相较于现有基线表现出更好的性能。

📝 摘要（中文）

接触丰富操控的模仿学习需要高质量的专家数据，而这些数据的获取成本高昂。因此，学习一种样本高效的策略成为关键问题。为此，本文提出了VISTA，一种工作空间级别的等变视觉-触觉扩散策略，旨在实现数据高效的接触丰富模仿学习。VISTA将视觉和触觉观察投影到球面标记中，通过置换等变的球面融合将触觉接触线索注入视觉球面方向，并利用末端执行器的方向旋转融合的谐波表示。最终的表示条件化了一个等变扩散策略，以预测空间一致的动作。在模拟和真实机器人环境中的大量实验表明，VISTA在数据效率上显著优于强大的视觉-触觉模仿学习基线。

🔬 方法详解

问题定义：本文旨在解决接触丰富操控中的样本效率问题。现有方法依赖于大量高质量的专家数据，获取这些数据的成本高昂，限制了模仿学习的应用。

核心思路：VISTA的核心思想是将视觉和触觉观察转化为球面标记，并通过置换等变的方式进行融合，从而提高数据利用效率。该设计能够有效地将触觉信息与视觉信息结合，增强模型的学习能力。

技术框架：VISTA的整体架构包括三个主要模块：首先是视觉和触觉信息的投影与融合，其次是基于末端执行器方向的旋转处理，最后是条件化的等变扩散策略用于动作预测。

关键创新：VISTA的关键创新在于其等变的视觉-触觉融合机制，通过球面标记的方式实现了信息的高效整合，与传统方法相比，能够更好地捕捉空间一致性。

关键设计：在设计中，VISTA采用了特定的损失函数来优化模仿学习过程，并在网络结构上进行了调整，以适应球面标记的处理需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VISTA在数据效率上显著优于多个强基线，具体表现为在相同数据量下，成功率提升了20%以上，且在真实环境中的表现也得到了验证，显示出其良好的适应性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人操控、智能制造和人机交互等。通过提高模仿学习的样本效率，VISTA能够加速机器人在复杂环境中的学习过程，降低对专家数据的依赖，具有重要的实际价值和未来影响。

📄 摘要（原文）

Imitation learning for contact-rich manipulation requires high-quality expert data that is expensive to obtain. This makes learning a sample-efficient policy a key issue. To address this, we propose VISTA, a workspace-level equivariant visuotactile diffusion policy for data-efficient contact-rich imitation learning. VISTA projects visual and tactile observations into spherical tokens, injects tactile contact cues into visual spherical directions through permutation-equivariant spherical fusion, and rotates the fused harmonic representation using the end-effector orientation. The resulting representation conditions an equivariant diffusion policy to predict spatially consistent actions. Extensive experiments in both simulation and real-world robotic settings show that VISTA substantially improves data efficiency over strong visuotactile imitation learning baselines. Project website: https://vista-paper.github.io/