Manipulating Elasto-Plastic Objects With 3D Occupancy and Learning-Based Predictive Control

📄 arXiv: 2505.16249v2 📥 PDF

作者: Zhen Zhang, Xiangyu Chu, Yunxi Tang, Lulu Zhao, Jing Huang, Zhongliang Jiang, K. W. Samuel Au

分类: cs.RO, cs.AI

发布日期: 2025-05-22 (更新: 2025-05-23)

备注: 8 Pages, 13 figures, accepted for publication in IEEE Robotics and Automation Letters (RA-L)

💡 一句话要点

提出基于3D Occupancy和学习预测控制的弹性塑性物体操作框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 弹性塑性物体操作 3D Occupancy 学习预测控制 动力学建模 机器人操作

📋 核心要点

  1. 弹性塑性物体操作面临自遮挡、表示困难和复杂动力学等挑战，现有方法难以有效应对。
  2. 该论文提出了一种基于3D occupancy表示、学习动力学模型和学习预测控制的弹性塑性物体操作框架。
  3. 实验结果表明，该框架能够成功地将弹性塑性物体塑造成目标形状，并在模拟和真实环境中验证了其有效性。

📝 摘要（中文）

本文提出了一种用于操作弹性塑性物体的新框架。由于严重的自遮挡、表示困难和复杂的动力学，弹性塑性物体的操作仍然是一个重大挑战。该框架利用3D occupancy来表示此类物体，并假设运动是准静态的。同时，使用3D occupancy训练一个学习的动力学模型，并采用基于学习的预测控制算法来有效地应对这些挑战。我们构建了一个新的数据收集平台来收集完整的空间信息，并提出了一个生成3D occupancy数据集的流程。为了推断操作过程中的3D occupancy，我们使用生成的数据集监督训练了一个occupancy预测网络，该网络使用多个RGB图像作为输入。我们设计了一个由3D卷积神经网络（CNN）和图神经网络（GNN）支持的深度神经网络，以预测具有推断的3D occupancy结果的复杂变形。引入了一种基于学习的预测控制算法来规划机器人动作，该算法结合了一种新颖的基于形状的动作初始化模块，专门用于提高规划器的效率。本文提出的框架可以成功地将弹性塑性物体塑造成给定的目标形状，并在模拟和真实世界的各种实验中得到了验证。

🔬 方法详解

问题定义：弹性塑性物体的操作由于其复杂的非线性形变特性和易受环境影响的特点，一直是一个难题。现有的方法通常难以处理严重的自遮挡问题，并且缺乏对物体形变的精确建模能力，导致操作精度不高。此外，复杂的动力学特性也使得运动规划变得困难。

核心思路：该论文的核心思路是利用3D occupancy作为弹性塑性物体的表示方法，并结合学习的动力学模型和预测控制算法。3D occupancy能够有效地表示物体的形状和空间占用情况，从而克服自遮挡问题。学习的动力学模型能够捕捉物体形变的复杂特性，提高预测精度。预测控制算法能够根据预测结果规划最优的机器人动作。

技术框架：该框架主要包含以下几个模块：1) 数据收集平台，用于收集弹性塑性物体的空间信息，并生成3D occupancy数据集。2) Occupancy预测网络，用于根据RGB图像推断物体的3D occupancy。3) 动力学预测网络，该网络基于3D CNN和GNN，用于预测物体在给定动作下的形变。4) 基于学习的预测控制算法，用于规划机器人动作，该算法包含一个基于形状的动作初始化模块。整体流程是：首先，利用Occupancy预测网络从RGB图像中获取3D occupancy信息；然后，利用动力学预测网络预测物体在不同动作下的形变；最后，利用预测控制算法选择最优的动作序列，并控制机器人执行。

关键创新：该论文的关键创新在于以下几个方面：1) 提出了一种基于3D occupancy的弹性塑性物体表示方法，能够有效克服自遮挡问题。2) 设计了一个基于3D CNN和GNN的动力学预测网络，能够精确预测物体的复杂形变。3) 提出了一种基于学习的预测控制算法，该算法结合了基于形状的动作初始化模块，能够提高规划效率。

关键设计：在动力学预测网络中，3D CNN用于提取3D occupancy的空间特征，GNN用于建模物体不同部分之间的关系。损失函数包括形状损失和运动损失，用于约束预测结果的准确性。在预测控制算法中，基于形状的动作初始化模块利用物体的形状信息生成初始动作序列，从而加速规划过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文在模拟和真实环境中进行了实验验证。实验结果表明，该框架能够成功地将弹性塑性物体塑造成目标形状，并且具有较高的操作精度。与传统的基于模型的控制方法相比，该方法能够更好地处理复杂的形变和不确定性，提高了操作的鲁棒性。具体性能数据未知。

🎯 应用场景

该研究成果可应用于柔性物体的自动化操作，例如食品加工、医疗手术、服装制造等领域。通过精确控制弹性塑性物体的形变，可以实现更复杂、更精细的操作任务，提高生产效率和产品质量。未来，该技术有望应用于机器人辅助康复、个性化定制等领域，具有广阔的应用前景。

📄 摘要（原文）

Manipulating elasto-plastic objects remains a significant challenge due to severe self-occlusion, difficulties of representation, and complicated dynamics. This work proposes a novel framework for elasto-plastic object manipulation with a quasi-static assumption for motions, leveraging 3D occupancy to represent such objects, a learned dynamics model trained with 3D occupancy, and a learning-based predictive control algorithm to address these challenges effectively. We build a novel data collection platform to collect full spatial information and propose a pipeline for generating a 3D occupancy dataset. To infer the 3D occupancy during manipulation, an occupancy prediction network is trained with multiple RGB images supervised by the generated dataset. We design a deep neural network empowered by a 3D convolution neural network (CNN) and a graph neural network (GNN) to predict the complex deformation with the inferred 3D occupancy results. A learning-based predictive control algorithm is introduced to plan the robot actions, incorporating a novel shape-based action initialization module specifically designed to improve the planner efficiency. The proposed framework in this paper can successfully shape the elasto-plastic objects into a given goal shape and has been verified in various experiments both in simulation and the real world.