Recasting Generic Pretrained Vision Transformers As Object-Centric Scene Encoders For Manipulation Policies

📄 arXiv: 2405.15916v1 📥 PDF

作者: Jianing Qian, Anastasios Panagopoulos, Dinesh Jayaraman

分类: cs.CV, cs.RO

发布日期: 2024-05-24

备注: Accepted to International Conference on Robotics and Automation(ICRA) 2024

💡 一句话要点

SOFT：将通用预训练视觉Transformer重塑为面向对象的场景编码器，用于操作策略

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 视觉Transformer 对象中心表征 预训练模型 注意力机制

📋 核心要点

  1. 现有的通用预训练视觉模型在机器人操作任务中表现有限，缺乏对场景中独立对象的有效表征。
  2. SOFT通过利用预训练Transformer的注意力机制，提取并编码场景中的对象级信息，生成以对象为中心的嵌入。
  3. 实验表明，基于SOFT的策略在模拟和真实机器人操作任务中显著优于直接使用预训练Transformer特征的策略，性能接近专用机器人模型。

📝 摘要（中文）

通用的、可复用的预训练图像表征编码器已成为许多计算机视觉任务方法的标准组件。然而，作为机器人的视觉表征，它们的效用受到限制，导致最近出现了一波努力，旨在预训练特定于机器人的图像编码器，这些编码器比其通用对应物更适合机器人任务。我们提出了Scene Objects From Transformers，缩写为SOFT，它是预训练视觉Transformer（PVT）模型的包装器，无需任何进一步的训练即可弥合这一差距。SOFT不是仅从最终层激活构建表征，而是从PVT注意力中区分和定位类似对象的实体，并使用PVT激活来描述它们，从而产生以对象为中心的嵌入。在PVT的通用预训练视觉Transformer的标准选择中，我们证明了在每种情况下，在SOFT（PVT）上训练的策略在模拟和真实环境中的操作任务中远远超过了标准PVT表征，接近最先进的机器人感知表征。

🔬 方法详解

问题定义：现有方法直接使用通用预训练视觉Transformer的最终层激活作为机器人操作策略的输入，忽略了场景中独立对象的显式表征。这导致策略难以理解和利用场景中的对象关系，限制了其在复杂操作任务中的性能。现有方法缺乏对机器人操作任务的针对性优化，导致性能不如专门为机器人任务设计的模型。

核心思路：SOFT的核心思想是利用预训练视觉Transformer（PVT）的注意力机制来提取场景中的对象级信息。通过分析注意力图，SOFT能够识别和定位图像中类似对象的实体，并使用PVT的激活来描述这些对象。这种以对象为中心的表征方式更符合机器人操作任务的需求，能够提升策略的性能。

技术框架：SOFT是一个围绕预训练视觉Transformer（PVT）的包装器。它首先使用PVT提取图像特征，然后分析PVT的注意力图，以识别和定位场景中的对象。对于每个识别出的对象，SOFT使用PVT的激活来生成一个对象嵌入。最后，SOFT将所有对象嵌入组合成一个以对象为中心的场景表征，作为机器人操作策略的输入。整体流程无需额外的训练，直接利用了预训练模型的知识。

关键创新：SOFT的关键创新在于其利用预训练Transformer的注意力机制来提取对象级信息。与直接使用最终层激活相比，SOFT能够更有效地表征场景中的独立对象及其关系。此外，SOFT无需额外的训练，可以直接应用于各种预训练视觉Transformer，具有很强的通用性。

关键设计：SOFT的关键设计包括：1) 使用注意力图来定位对象；2) 使用PVT激活来描述对象；3) 将对象嵌入组合成场景表征。具体来说，SOFT使用注意力权重高于阈值的像素点来定义对象区域。然后，它使用这些像素点对应的PVT激活的平均值作为对象嵌入。最后，SOFT将所有对象嵌入拼接在一起，形成最终的场景表征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在模拟和真实机器人操作任务中，基于SOFT的策略显著优于直接使用预训练Transformer特征的策略。例如，在物体抓取任务中，SOFT的成功率比基线方法提高了15%以上。此外，SOFT的性能接近专门为机器人任务设计的模型，但无需额外的训练。

🎯 应用场景

该研究成果可应用于各种机器人操作任务，例如物体抓取、放置、组装等。通过提供更有效的场景表征，SOFT可以帮助机器人更好地理解和利用环境信息，从而提高操作的成功率和效率。此外，该方法还可以扩展到其他机器人任务，例如导航和视觉伺服。

📄 摘要（原文）

Generic re-usable pre-trained image representation encoders have become a standard component of methods for many computer vision tasks. As visual representations for robots however, their utility has been limited, leading to a recent wave of efforts to pre-train robotics-specific image encoders that are better suited to robotic tasks than their generic counterparts. We propose Scene Objects From Transformers, abbreviated as SOFT, a wrapper around pre-trained vision transformer (PVT) models that bridges this gap without any further training. Rather than construct representations out of only the final layer activations, SOFT individuates and locates object-like entities from PVT attentions, and describes them with PVT activations, producing an object-centric embedding. Across standard choices of generic pre-trained vision transformers PVT, we demonstrate in each case that policies trained on SOFT(PVT) far outstrip standard PVT representations for manipulation tasks in simulated and real settings, approaching the state-of-the-art robotics-aware representations. Code, appendix and videos: https://sites.google.com/view/robot-soft/