UniT: Data Efficient Tactile Representation with Generalization to Unseen Objects

📄 arXiv: 2408.06481v2 📥 PDF

作者: Zhengtong Xu, Raghava Uppuluri, Xinwei Zhang, Cael Fitch, Philip Glen Crandall, Wan Shou, Dongyi Wang, Yu She

分类: cs.RO

发布日期: 2024-08-12 (更新: 2025-04-01)

🔗 代码/项目: GITHUB | PROJECT_PAGE

💡 一句话要点

UniT：一种数据高效的触觉表征学习方法，可泛化到未知物体

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 触觉表征学习 机器人操作 VQGAN 零样本迁移 数据高效

📋 核心要点

  1. 现有触觉表征学习方法通常需要大量数据，且泛化能力有限，难以适应新物体。
  2. UniT利用VQGAN学习紧凑的触觉图像潜在空间，仅需少量数据即可训练出具有良好泛化性的表征。
  3. 实验表明，UniT在姿态估计、触觉分类和策略学习等任务上优于现有方法，展现了其有效性。

📝 摘要（中文）

UniT是一种触觉表征学习方法，它使用VQGAN学习紧凑的潜在空间，并将其作为触觉表征。它使用从单个简单物体获得的触觉图像来训练具有泛化能力的表征。这种触觉表征可以零样本迁移到各种下游任务，包括感知任务和操作策略学习。在手部3D姿态和6D姿态估计任务以及触觉分类任务上的基准测试表明，UniT优于现有的视觉和触觉表征学习方法。此外，UniT在策略学习方面的有效性已在三个真实世界的任务中得到证明，这些任务涉及各种被操纵的物体和复杂的机器人-物体-环境交互。通过广泛的实验表明，UniT是一种易于训练、即插即用且广泛有效的触觉表征学习方法。

🔬 方法详解

问题定义：现有的触觉表征学习方法通常需要大量的训练数据，特别是当需要处理各种不同的物体时。此外，这些方法学习到的表征往往缺乏泛化能力，难以应用于未见过的物体。这限制了触觉感知在机器人操作中的应用。

核心思路：UniT的核心思路是利用VQGAN学习一个紧凑且具有泛化能力的触觉图像潜在空间。通过将触觉图像编码到这个潜在空间中，可以获得对物体形状和表面属性的有效表征，从而实现对未知物体的感知和操作。

技术框架：UniT的整体框架包括以下几个主要步骤：1) 使用触觉传感器获取物体表面的触觉图像；2) 使用VQGAN将触觉图像编码到离散的潜在空间中；3) 使用编码后的潜在向量作为触觉表征，用于下游任务，如姿态估计、物体分类和策略学习。VQGAN由编码器、码本和解码器组成。编码器将触觉图像映射到潜在向量，码本包含一组离散的向量，用于量化潜在向量，解码器将量化后的潜在向量重构为触觉图像。

关键创新：UniT的关键创新在于使用VQGAN学习触觉图像的离散潜在空间。与传统的连续潜在空间相比，离散潜在空间更易于学习和泛化，并且可以更好地捕捉触觉图像中的关键特征。此外，UniT只需要少量的数据即可训练出具有良好泛化能力的表征，这大大降低了触觉表征学习的成本。

关键设计：UniT使用标准的VQGAN架构，并针对触觉图像的特点进行了一些调整。例如，使用了较小的码本大小，以提高表征的紧凑性。损失函数包括重构损失和码本损失，用于训练VQGAN。在下游任务中，使用编码后的潜在向量作为输入，训练相应的模型或策略。

📊 实验亮点

UniT在手部3D姿态和6D姿态估计任务以及触觉分类任务上的表现优于现有的视觉和触觉表征学习方法。此外，UniT在三个真实世界的机器人操作任务中也取得了显著的成果，证明了其在策略学习方面的有效性。具体性能数据在论文和开源代码中提供。

🎯 应用场景

UniT在机器人操作领域具有广泛的应用前景，例如可以用于机器人抓取、物体识别、表面纹理感知等任务。通过学习通用的触觉表征，机器人可以更好地理解和操作各种物体，从而提高其自主性和适应性。该研究对于推动触觉感知在机器人领域的应用具有重要意义。

📄 摘要（原文）

UniT is an approach to tactile representation learning, using VQGAN to learn a compact latent space and serve as the tactile representation. It uses tactile images obtained from a single simple object to train the representation with generalizability. This tactile representation can be zero-shot transferred to various downstream tasks, including perception tasks and manipulation policy learning. Our benchmarkings on in-hand 3D pose and 6D pose estimation tasks and a tactile classification task show that UniT outperforms existing visual and tactile representation learning methods. Additionally, UniT's effectiveness in policy learning is demonstrated across three real-world tasks involving diverse manipulated objects and complex robot-object-environment interactions. Through extensive experimentation, UniT is shown to be a simple-to-train, plug-and-play, yet widely effective method for tactile representation learning. For more details, please refer to our open-source repository https://github.com/ZhengtongXu/UniT and the project website https://zhengtongxu.github.io/unit-website/.