Generalizable Skill Learning for Construction Robots with Crowdsourced Natural Language Instructions, Composable Skills Standardization, and Large Language Model

📄 arXiv: 2509.02876v1 📥 PDF

作者: Hongrui Yu, Vineet R. Kamat, Carol C. Menassa

分类: cs.RO

发布日期: 2025-09-02

备注: Under review for ASCE OPEN: Multidisciplinary Journal of Civil Engineering

💡 一句话要点

提出基于众包自然语言指令和LLM的通用建筑机器人技能学习方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 建筑机器人 技能学习 自然语言指令 大型语言模型 多任务学习

📋 核心要点

  1. 现有建筑机器人编程缺乏通用性，难以适应不同工作领域和任务，需要大量人工重新编程。
  2. 提出一种通用学习架构，利用众包自然语言指令直接训练机器人，实现多功能任务执行能力。
  3. 通过石膏板安装实验验证了所提出的技能标准化方案和基于LLM的分层技能学习框架，实现了高效的多任务重编程。

📝 摘要（中文）

建筑工作的准重复性以及由此导致的建筑机器人编程缺乏通用性，对机器人在建筑行业的广泛应用提出了持续的挑战。由于从一个领域学习到的技能无法轻易转移到另一个工作领域或直接用于执行不同的任务，机器人无法实现通用能力。人工需要费力地重新编程其场景理解、路径规划和操作组件，以使机器人能够执行替代工作任务。本文提出的方法通过提出一种通用的学习架构，直接通过众包在线自然语言指令来教导机器人执行多功能任务，从而解决了很大一部分此类重新编程工作量。开发了一个大型语言模型（LLM）、一种标准化和模块化的分层建模方法以及建筑信息建模-机器人语义数据管道，以解决多任务技能转移问题。所提出的技能标准化方案和基于LLM的分层技能学习框架通过使用全尺寸工业机器人机械臂的长期石膏板安装实验进行了测试。由此产生的机器人任务学习方案以最小的努力和高质量实现了多任务重新编程。

🔬 方法详解

问题定义：现有建筑机器人难以泛化到不同的建筑任务中，需要针对每个新任务进行繁琐的重新编程，包括场景理解、路径规划和操作等模块。这极大地限制了建筑机器人在实际工程中的应用，提高了部署成本和时间。现有方法缺乏一种通用的技能学习框架，使得机器人无法像人类工人一样，通过简单的指令快速学习和适应新的任务。

核心思路：本文的核心思路是利用众包的自然语言指令作为机器人的训练数据，结合大型语言模型（LLM）进行技能学习。通过将复杂的建筑任务分解为一系列标准化的、可组合的技能模块，并利用LLM理解自然语言指令，机器人可以根据指令自动组合这些技能模块，从而完成新的任务。这种方法旨在实现一种通用的、易于重编程的机器人技能学习框架。

技术框架：该方法的技术框架主要包括以下几个模块：1) 众包自然语言指令收集：收集大量关于建筑任务的自然语言描述。2) 技能标准化和模块化：将建筑任务分解为一系列标准化的、可组合的技能模块。3) LLM-based技能学习：利用LLM理解自然语言指令，并将其映射到相应的技能模块序列。4) Building Information Modeling (BIM)-Robot语义数据管道：利用BIM数据提供环境信息，辅助机器人进行场景理解和任务规划。5) 机器人控制：根据LLM生成的技能模块序列，控制机器人执行相应的动作。

关键创新：该方法最重要的技术创新点在于将众包自然语言指令和LLM结合起来，用于机器人技能学习。与传统的机器人编程方法相比，该方法无需人工编写复杂的控制代码，而是通过自然语言指令直接指导机器人完成任务。此外，该方法提出的技能标准化和模块化方案，使得机器人可以灵活地组合不同的技能模块，从而适应不同的任务需求。与现有方法的本质区别在于，该方法实现了从人工编程到自然语言指令驱动的转变，大大降低了机器人编程的难度和成本。

关键设计：论文中关键的设计包括：1) 技能模块的定义：需要仔细设计技能模块的粒度，既要保证技能模块的通用性，又要避免技能模块过于复杂。2) LLM的选择和训练：需要选择合适的LLM，并使用大量的建筑领域数据进行训练，以提高LLM对建筑任务的理解能力。3) BIM数据的利用：需要设计有效的方法，将BIM数据转化为机器人可以理解的语义信息，例如物体的位置、尺寸和属性等。4) 自然语言指令的解析：需要设计有效的算法，将自然语言指令解析为LLM可以理解的输入格式。

📊 实验亮点

该研究通过石膏板安装实验验证了所提出方法的有效性。实验结果表明，该方法可以以最小的努力和高质量实现多任务重编程。具体的性能数据和对比基线在论文中进行了详细的描述，证明了该方法在多任务学习和泛化能力方面的优势。实验结果表明，该方法能够显著减少人工编程的工作量，并提高机器人的任务执行效率。

🎯 应用场景

该研究成果可广泛应用于建筑行业的各种机器人自动化任务，例如砌砖、粉刷、焊接、管道安装等。通过自然语言指令，工人可以轻松地重新配置机器人以执行不同的任务，从而提高施工效率和安全性。此外，该方法还可以应用于其他需要机器人进行复杂操作的领域，例如制造业、物流和医疗保健等。

📄 摘要（原文）

The quasi-repetitive nature of construction work and the resulting lack of generalizability in programming construction robots presents persistent challenges to the broad adoption of robots in the construction industry. Robots cannot achieve generalist capabilities as skills learnt from one domain cannot readily transfer to another work domain or be directly used to perform a different set of tasks. Human workers have to arduously reprogram their scene-understanding, path-planning, and manipulation components to enable the robots to perform alternate work tasks. The methods presented in this paper resolve a significant proportion of such reprogramming workload by proposing a generalizable learning architecture that directly teaches robots versatile task-performance skills through crowdsourced online natural language instructions. A Large Language Model (LLM), a standardized and modularized hierarchical modeling approach, and Building Information Modeling-Robot sematic data pipeline are developed to address the multi-task skill transfer problem. The proposed skill standardization scheme and LLM-based hierarchical skill learning framework were tested with a long-horizon drywall installation experiment using a full-scale industrial robotic manipulator. The resulting robot task learning scheme achieves multi-task reprogramming with minimal effort and high quality.