Prompt-to-Product: Generative Assembly via Bimanual Manipulation

📄 arXiv: 2508.21063v1 📥 PDF

作者: Ruixuan Liu, Philip Huang, Ava Pun, Kangle Deng, Shobhit Aggarwal, Kevin Tang, Michelle Liu, Deva Ramanan, Jun-Yan Zhu, Jiaoyang Li, Changliu Liu

分类: cs.RO, cs.AI

发布日期: 2025-08-28

备注: 12 pages, 10 figures, 2 tables

💡 一句话要点

Prompt-to-Product：基于双臂操作的乐高积木生成式组装

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 生成式模型 机器人组装 双臂操作 自然语言提示 乐高积木

📋 核心要点

  1. 现有组装产品创建需要大量人工和专家知识，包括组装设计和产品构建，过程繁琐且效率低。
  2. Prompt-to-Product通过自然语言提示驱动的生成式设计，自动生成可构建的乐高积木结构。
  3. 实验表明，该方法显著降低了组装产品创建的门槛，并减少了人工干预，提升了用户体验。

📝 摘要（中文）

本文提出Prompt-to-Product，一个自动化的流程，能够从自然语言提示生成现实世界中的组装产品。具体来说，我们利用乐高积木作为组装平台，并自动化创建积木组装结构的过程。给定用户设计需求，Prompt-to-Product生成物理上可构建的积木设计，然后利用双臂机器人系统构建真实的组装产品，将用户的想象变为现实。我们进行了一项全面的用户研究，结果表明Prompt-to-Product显著降低了从想象性想法创建组装产品的门槛，并减少了人工工作量。

🔬 方法详解

问题定义：论文旨在解决从自然语言描述自动生成并构建乐高积木组装结构的问题。现有方法依赖人工设计和手动组装，耗时耗力，且需要专业知识。因此，如何将用户的想法快速转化为现实的物理产品是一个挑战。

核心思路：论文的核心思路是利用生成模型将自然语言提示转化为可行的乐高积木设计，然后通过双臂机器人系统自动完成组装。这种方法将设计和构建过程自动化，降低了用户门槛，并提高了效率。

技术框架：Prompt-to-Product 包含以下主要阶段：1) 用户输入自然语言提示；2) 生成模型根据提示生成乐高积木的设计方案；3) 路径规划模块生成机器人操作序列；4) 双臂机器人系统执行操作序列，完成乐高积木的组装。整个流程实现了从概念到产品的自动化转换。

关键创新：该方法的主要创新在于将自然语言处理、生成模型和机器人操作相结合，实现了一个完整的自动化组装流程。特别是在乐高积木组装领域，这种端到端的解决方案是新颖的。此外，双臂机器人系统的协同操作也提高了组装效率和灵活性。

关键设计：生成模型的设计细节（例如，网络结构、损失函数）在论文中可能没有详细描述，这部分信息未知。双臂机器人系统的控制策略和路径规划算法是关键的设计要素，需要保证组装的稳定性和效率。具体的参数设置和优化方法可能需要根据实际的乐高积木类型和组装任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过用户研究验证了Prompt-to-Product的有效性，表明该系统能够显著降低用户创建组装产品的难度，并减少所需的人工工作量。具体的性能数据（例如，组装成功率、时间效率）和对比基线在摘要中未提及，这部分信息未知，但用户研究的结果表明该系统具有实际应用价值。

🎯 应用场景

该研究成果可应用于自动化产品设计与制造领域，例如定制化玩具生产、建筑模型构建、以及其他需要精细组装的场景。通过自然语言交互，用户可以轻松定制产品，降低设计门槛，加速产品迭代，并最终实现个性化制造。

📄 摘要（原文）

Creating assembly products demands significant manual effort and expert knowledge in 1) designing the assembly and 2) constructing the product. This paper introduces Prompt-to-Product, an automated pipeline that generates real-world assembly products from natural language prompts. Specifically, we leverage LEGO bricks as the assembly platform and automate the process of creating brick assembly structures. Given the user design requirements, Prompt-to-Product generates physically buildable brick designs, and then leverages a bimanual robotic system to construct the real assembly products, bringing user imaginations into the real world. We conduct a comprehensive user study, and the results demonstrate that Prompt-to-Product significantly lowers the barrier and reduces manual effort in creating assembly products from imaginative ideas.