Octopi: Object Property Reasoning with Large Tactile-Language Models
作者: Samson Yu, Kelvin Lin, Anxing Xiao, Jiafei Duan, Harold Soh
分类: cs.RO
发布日期: 2024-05-05 (更新: 2024-06-05)
备注: Accepted at Robotics: Science and Systems (R:SS 2024)
🔗 代码/项目: GITHUB
💡 一句话要点
Octopi：利用大型触觉-语言模型进行物体属性推理
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 触觉感知 物理推理 视觉-语言模型 机器人操作 属性预测
📋 核心要点
- 现有方法依赖视觉和语言进行物理推理，但无法推断仅通过交互才能获得的物理属性。
- Octopi结合触觉感知与语言，利用触觉表征学习和大型视觉-语言模型进行物理属性推理。
- 在PhysiCLeAR数据集上的实验表明，Octopi能有效利用物理属性预测提升触觉相关任务的性能。
📝 摘要（中文）
有效的机器人操作需要物理推理能力。现有研究主要集中于视觉和语言模态，但它们在推断物理属性方面存在局限性。本文提出结合触觉感知与语言，使机器人能够通过交互获取物理属性并进行常识推理。为此，我们构建了一个新的数据集PhysiCLeAR，包含物理/属性推理任务以及使用GelSight触觉传感器获取的带注释的触觉视频。同时，我们提出了Octopi系统，该系统利用触觉表征学习和大型视觉-语言模型，以最小的语言微调来预测和推理触觉输入。在PhysiCLeAR上的评估表明，Octopi能够有效地利用中间物理属性预测来提高其在各种触觉相关任务上的性能。PhysiCLeAR和Octopi已开源。
🔬 方法详解
问题定义：现有机器人操作中的物理推理方法主要依赖视觉和语言信息，对于一些需要通过物理交互才能获得的物体属性（例如粗糙度、硬度等）难以有效推理。这限制了机器人在复杂环境中的操作能力，例如在遮挡或光照条件不佳的情况下。
核心思路：Octopi的核心思路是将触觉感知融入到物理推理过程中，利用触觉传感器获取物体表面的物理属性信息，并结合大型视觉-语言模型进行推理。通过触觉感知，机器人可以主动探索环境，获取更丰富的物理属性信息，从而提高物理推理的准确性和鲁棒性。
技术框架：Octopi系统主要包含以下几个模块：1) 触觉数据采集模块：使用GelSight触觉传感器获取物体表面的触觉图像。2) 触觉表征学习模块：利用自监督学习方法，从触觉图像中提取有效的触觉特征表示。3) 物理属性预测模块：基于触觉特征，预测物体的物理属性，例如硬度、粗糙度等。4) 视觉-语言模型推理模块：将触觉预测的物理属性与视觉和语言信息相结合，利用大型视觉-语言模型进行最终的物理推理。
关键创新：Octopi的关键创新在于将触觉感知与大型视觉-语言模型相结合，实现了一种新的物理推理方法。与现有方法相比，Octopi能够利用触觉信息获取更丰富的物理属性，从而提高物理推理的准确性和鲁棒性。此外，Octopi采用最小的语言微调策略，降低了模型的训练成本。
关键设计：触觉表征学习模块采用对比学习方法，训练一个能够区分不同物体表面触觉特征的编码器。物理属性预测模块采用多层感知机（MLP），将触觉特征映射到物理属性空间。视觉-语言模型采用预训练的CLIP模型，并进行少量的语言微调，以适应触觉相关的物理推理任务。损失函数包括对比学习损失、物理属性预测损失和语言模型损失。
🖼️ 关键图片
📊 实验亮点
Octopi在PhysiCLeAR数据集上进行了评估，实验结果表明，Octopi能够有效地利用触觉信息提高物理推理的准确性。具体而言，Octopi在物理属性预测任务上取得了显著的性能提升，并且在触觉相关的推理任务上优于现有的视觉-语言模型。实验还表明，通过中间物理属性预测，Octopi能够进一步提高其在各种触觉相关任务上的性能。
🎯 应用场景
Octopi可应用于各种机器人操作任务，例如物体抓取、操作和装配。通过结合触觉感知和语言推理，机器人可以更好地理解环境，并执行更复杂的任务。该研究对于提升机器人在未知环境中的适应性和自主性具有重要意义，未来可应用于智能制造、家庭服务和医疗保健等领域。
📄 摘要（原文）
Physical reasoning is important for effective robot manipulation. Recent work has investigated both vision and language modalities for physical reasoning; vision can reveal information about objects in the environment and language serves as an abstraction and communication medium for additional context. Although these works have demonstrated success on a variety of physical reasoning tasks, they are limited to physical properties that can be inferred from visual or language inputs. In this work, we investigate combining tactile perception with language, which enables embodied systems to obtain physical properties through interaction and apply commonsense reasoning. We contribute a new dataset PhysiCLeAR, which comprises both physical/property reasoning tasks and annotated tactile videos obtained using a GelSight tactile sensor. We then introduce Octopi, a system that leverages both tactile representation learning and large vision-language models to predict and reason about tactile inputs with minimal language fine-tuning. Our evaluations on PhysiCLeAR show that Octopi is able to effectively use intermediate physical property predictions to improve its performance on various tactile-related tasks. PhysiCLeAR and Octopi are available at https://github.com/clear-nus/octopi.