LLM-Craft: Robotic Crafting of Elasto-Plastic Objects with Large Language Models

📄 arXiv: 2406.08648v3 📥 PDF

作者: Alison Bartsch, Amir Barati Farimani

分类: cs.RO

发布日期: 2024-06-12 (更新: 2025-06-09)

💡 一句话要点

LLM-Craft：利用大语言模型进行弹性-塑性物体机器人雕塑

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 机器人雕塑 可变形物体 弹性-塑性 动作规划

📋 核心要点

  1. 现有机器人雕塑方法依赖于低级控制和逐点相似度量，缺乏高级语义推理能力。
  2. LLM-Craft利用大语言模型进行迭代推理，生成基于变形的动作序列，实现高级别的形状控制。
  3. 实验证明，LLM-Craft能够成功创建简单的字母形状，验证了LLM在可变形物体交互中的潜力。

📝 摘要（中文）

人类在创作雕塑时，能够推理出需要如何几何地改变粘土的状态以达到目标。我们不是计算逐点相似性度量，也不是推理工具的低级定位，而是确定需要进行的更高级别的变化。本文提出了LLM-Craft，这是一种新颖的流程，它利用大型语言模型（LLM）来迭代地推理和生成基于变形的雕塑动作序列。我们简化并耦合了状态和动作表示，以进一步鼓励基于形状的推理。据我们所知，LLM-Craft是第一个成功利用LLM进行复杂可变形物体交互的系统。通过我们的实验，我们证明了借助LLM-Craft框架，LLM能够成功创建一组简单的字母形状。我们探索了各种rollout策略，并将LLM-Craft变体的性能与有无显式目标形状图像的情况进行了比较。有关视频和提示详细信息，请访问我们的项目网站：https://sites.google.com/andrew.cmu.edu/llmcraft/home

🔬 方法详解

问题定义：现有机器人操作可变形物体（如粘土）的方法，通常依赖于低层次的控制和基于像素的视觉反馈，缺乏对物体形状和所需变形的高级语义理解能力。这导致难以完成复杂的雕塑任务，并且泛化能力较差。现有方法难以像人类一样，从整体形状的角度进行推理和规划。

核心思路：LLM-Craft的核心思路是将大语言模型（LLM）引入机器人雕塑任务中，利用LLM强大的语义理解和推理能力，将高层次的雕塑目标转化为一系列具体的变形动作。通过简化状态和动作的表示，并将其耦合，鼓励LLM进行基于形状的推理，从而实现更高效和智能的雕塑过程。

技术框架：LLM-Craft的整体框架包含以下几个主要步骤：1）状态表示：将当前粘土的形状表示为一种简化的状态向量。2）动作表示：将机器人可以执行的变形动作表示为一种简化的动作向量。3）LLM推理：使用LLM，基于当前状态和目标形状，推理出下一步需要执行的动作。LLM的输入包括当前状态的描述、目标形状的描述以及历史动作序列。LLM的输出是下一步要执行的动作。4）动作执行：将LLM输出的动作转化为机器人控制指令，控制机器人执行相应的变形操作。5）迭代：重复步骤1-4，直到粘土的形状接近目标形状。

关键创新：LLM-Craft最重要的创新在于将LLM引入了可变形物体的机器人操作领域，并成功地利用LLM进行高级语义推理和动作规划。与传统的基于视觉反馈和低级控制的方法相比，LLM-Craft能够更好地理解雕塑目标，并生成更有效的动作序列。此外，LLM-Craft通过简化状态和动作表示，并将其耦合，使得LLM更容易进行基于形状的推理。

关键设计：LLM-Craft的关键设计包括：1）状态和动作表示的简化：为了降低LLM的推理难度，论文对状态和动作进行了简化表示。具体来说，状态被表示为一个低维向量，描述了粘土的整体形状特征。动作也被表示为一个低维向量，描述了机器人可以执行的几种基本变形操作。2）LLM的提示工程：为了引导LLM进行正确的推理，论文设计了合适的提示语，包括对当前状态的描述、对目标形状的描述以及对历史动作序列的描述。3）Rollout策略：论文探索了不同的rollout策略，例如贪婪策略和随机策略，以提高雕塑的成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM-Craft能够成功地利用LLM创建简单的字母形状。通过对比不同rollout策略和有无目标形状图像的情况，验证了LLM在可变形物体交互中的有效性。该研究为利用LLM进行复杂机器人操作任务提供了新的思路。

🎯 应用场景

LLM-Craft具有广泛的应用前景，例如：自动化雕塑创作、个性化定制产品制造、康复训练辅助工具等。该研究有望推动机器人技术在艺术创作、工业制造和医疗健康等领域的应用，实现更智能、更高效的自动化生产。

📄 摘要（原文）

When humans create sculptures, we are able to reason about how geometrically we need to alter the clay state to reach our target goal. We are not computing point-wise similarity metrics, or reasoning about low-level positioning of our tools, but instead determining the higher-level changes that need to be made. In this work, we propose LLM-Craft, a novel pipeline that leverages large language models (LLMs) to iteratively reason about and generate deformation-based crafting action sequences. We simplify and couple the state and action representations to further encourage shape-based reasoning. To the best of our knowledge, LLM-Craft is the first system successfully leveraging LLMs for complex deformable object interactions. Through our experiments, we demonstrate that with the LLM-Craft framework, LLMs are able to successfully create a set of simple letter shapes. We explore a variety of rollout strategies, and compare performances of LLM-Craft variants with and without an explicit goal shape images. For videos and prompting details, please visit our project website: https://sites.google.com/andrew.cmu.edu/llmcraft/home