PokeFlex: Towards a Real-World Dataset of Deformable Objects for Robotic Manipulation

📄 arXiv: 2409.17124v1 📥 PDF

作者: Jan Obrist, Miguel Zamora, Hehui Zheng, Juan Zarate, Robert K. Katzschmann, Stelian Coros

分类: cs.RO

发布日期: 2024-09-25

备注: Extended Abstract, 40th Anniversary of the IEEE International Conference on Robotics and Automation. (ICRA@40 Rotterdam 2024)

💡 一句话要点

PokeFlex：为机器人操作形变物体构建真实世界数据集

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 形变物体操作 机器人操作 数据集 3D网格重建 体积捕获

📋 核心要点

  1. 机器人难以处理形变物体的高维度和复杂动力学，阻碍了其在相关领域的应用。
  2. PokeFlex数据集通过机器人手臂戳刺形变物体，记录其3D网格数据、力和扭矩，为数据驱动方法提供数据支持。
  3. 该数据集包含五种不同属性的形变物体，并被用于训练视觉模型，实现从单张图像进行3D网格重建。

📝 摘要（中文）

为了推进机器人对形变物体的操作，从而实现从食品加工到纺织和医疗保健等多个行业中重复性任务的自动化，我们提出了PokeFlex，一个包含真实世界3D网格数据的形变物体数据集。该数据集记录了机器人手臂使用简单的戳刺策略主动形变物体时所施加的力和扭矩。形变过程通过专业的体积捕获系统记录，可以实现完整的360度重建。PokeFlex数据集包含五种具有不同硬度和形状的形变物体。此外，我们利用PokeFlex数据集训练了一个视觉模型，用于从单张图像和模板网格中进行在线3D网格重建。我们建议读者参考补充材料和我们的网站（https://pokeflex-dataset.github.io/）以获取数据集的演示和示例。

🔬 方法详解

问题定义：现有机器人操作形变物体的方法面临数据匮乏的挑战。形变物体具有高维度和复杂的动力学特性，缺乏足够的数据来训练有效的模型，从而限制了数据驱动方法在该领域的应用。

核心思路：PokeFlex的核心思路是通过构建一个真实世界的数据集，记录机器人手臂与形变物体交互过程中的3D网格数据、力和扭矩信息，为数据驱动的形变物体操作研究提供基础。通过提供高质量的形变数据，促进相关算法的开发和性能提升。

技术框架：PokeFlex数据集的构建流程主要包括以下几个阶段：1) 选择具有不同硬度和形状的形变物体；2) 使用机器人手臂采用戳刺策略对物体进行形变；3) 利用专业的体积捕获系统记录物体形变过程中的3D网格数据；4) 记录机器人手臂施加的力和扭矩信息；5) 利用数据集训练视觉模型，实现从单张图像进行3D网格重建。

关键创新：PokeFlex数据集的关键创新在于其真实性和完整性。它提供了真实世界中形变物体的3D网格数据，以及机器人手臂施加的力和扭矩信息，这为研究形变物体的动力学特性和开发有效的操作算法提供了宝贵的数据资源。此外，该数据集还利用专业的体积捕获系统实现了完整的360度重建，保证了数据的质量。

关键设计：在数据采集方面，采用了多种不同硬度和形状的形变物体，以增加数据集的多样性。在3D网格重建方面，使用了专业的体积捕获系统，保证了重建的精度和完整性。在视觉模型训练方面，采用了单张图像和模板网格作为输入，实现了在线3D网格重建。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PokeFlex数据集包含五种不同硬度和形状的形变物体，并利用这些数据训练了一个视觉模型，用于从单张图像和模板网格中进行在线3D网格重建。虽然论文中没有给出具体的性能数据，但该模型能够成功地从单张图像中重建出形变物体的3D网格，证明了PokeFlex数据集的有效性。

🎯 应用场景

PokeFlex数据集的应用场景广泛，包括食品加工、纺织、医疗保健等领域。例如，在食品加工中，机器人可以利用该数据集学习如何抓取和操作柔软的食物；在纺织领域，机器人可以学习如何缝纫和折叠衣物；在医疗保健领域，机器人可以学习如何进行手术和康复治疗。该数据集的发布将促进机器人技术在这些领域的应用，提高生产效率和降低成本。

📄 摘要（原文）

Advancing robotic manipulation of deformable objects can enable automation of repetitive tasks across multiple industries, from food processing to textiles and healthcare. Yet robots struggle with the high dimensionality of deformable objects and their complex dynamics. While data-driven methods have shown potential for solving manipulation tasks, their application in the domain of deformable objects has been constrained by the lack of data. To address this, we propose PokeFlex, a pilot dataset featuring real-world 3D mesh data of actively deformed objects, together with the corresponding forces and torques applied by a robotic arm, using a simple poking strategy. Deformations are captured with a professional volumetric capture system that allows for complete 360-degree reconstruction. The PokeFlex dataset consists of five deformable objects with varying stiffness and shapes. Additionally, we leverage the PokeFlex dataset to train a vision model for online 3D mesh reconstruction from a single image and a template mesh. We refer readers to the supplementary material and to our website ( https://pokeflex-dataset.github.io/ ) for demos and examples of our dataset.