Automated Assembly Instruction Generation from CAD Models Using Grounded Large Language Models: A Human-in-the-Loop Framework
作者: Aaron Dsouza, Mohammed Azeez Khan, Ashutosh Mishra, Arshaan Khan, Neha K. Nair, Amar Kumar Behera
分类: cs.LG
发布日期: 2026-10-08
备注: 16 pages, 6 figures, 4 tables
💡 一句话要点
提出基于CAD模型的自动化装配指令生成框架以提升装配文档质量
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自动化装配 CAD模型 装配指令生成 人机协作 大型语言模型 结构化数据 制造业 智能制造
📋 核心要点
- 现有的装配文档编写方法依赖人工解读CAD模型，效率低且易出错，缺乏系统化的自动化解决方案。
- 本文提出了一种人机协作的框架，通过将CAD模型信息结构化，自动生成自然语言装配指令，提升了文档质量和生成效率。
- 案例研究表明，该框架在实际应用中能够有效保留装配顺序和相关参数，展示了良好的端到端可行性。
📝 摘要（中文）
装配文档通常依赖人工解读CAD模型进行编写，现有方法在CAD解释、装配序列规划和指令编写等方面缺乏有效整合。本文提出了一种基于CAD的装配指令生成框架，通过将STEP装配映射到类型化的ProductGraph中，利用确定性拓扑排序推导优先顺序，并基于选定的图上下文生成自然语言指令。每一步还附加了视觉文档，并在人工审核前应用规则和模型辅助检查。案例研究表明，该框架在六部分参考装配上的端到端可行性，成功保留了装配顺序及相关信息。尽管如此，模型的泛化能力和几何验证仍需进一步研究。
🔬 方法详解
问题定义：本文旨在解决传统装配文档编写中人工解读CAD模型的低效和错误问题，现有方法缺乏系统化的整合，导致装配指令生成质量不高。
核心思路：提出了一种基于CAD模型的装配指令生成框架，利用结构化的工程信息和大型语言模型相结合，自动生成自然语言装配指令，确保指令的准确性和可读性。
技术框架：整体架构包括几个主要模块：首先将STEP装配映射到ProductGraph中；然后通过确定性拓扑排序推导装配步骤的优先顺序；接着基于选定的图上下文生成每一步的语言描述；最后附加视觉文档并进行规则和模型辅助检查。
关键创新：本研究的创新点在于将工程状态、确定性推理、语言生成和人工审核分离，形成一个模块化的框架，提升了装配指令生成的灵活性和准确性。
关键设计：在技术细节上，框架采用了类型化的ProductGraph表示，确保信息的结构化；同时，生成过程中的语言模型仅依赖于选定的图上下文，增强了生成指令的相关性和准确性。还设置了质量标志，确保人工审核前不导出PDF文档。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在六部分参考装配上的端到端可行性良好，成功保留了装配顺序，并在导出手册中准确传递了数量、材料和扭矩信息，展示了相较于传统方法的显著提升。
🎯 应用场景
该研究的潜在应用领域包括制造业、机器人装配和自动化生产线等，能够显著提高装配文档的生成效率和准确性，减少人工干预，降低错误率。未来，该框架可扩展至更复杂的装配任务和多种类型的产品，推动智能制造的发展。
📄 摘要（原文）
Assembly documentation is a downstream manufacturing artifact that is still usually authored by interpreting CAD models by hand. Structured product data and large language models are both available, yet studies of CAD interpretation, assembly sequence planning, instruction writing, and human oversight have largely proceeded separately. This paper formulates CAD-grounded assembly instruction generation: the production of natural-language assembly procedures constrained by structured engineering information extracted from CAD models. The proposed framework maps a STEP assembly to a typed ProductGraph intermediate representation, derives a precedence order by deterministic topological sorting, realizes each step as language conditioned only on selected graph context, attaches per-step visual documentation, and applies rule-based and model-assisted checks. PDF export remains disabled until a human reviewer resolves every quality flag. The case study establishes endto-end feasibility on a built-in six-part reference assembly: the pipeline preserves a reported assembly order and carries quantity, material, and torque into an exported manual page. Generalization and geometric validation remain open empirical questions. The contribution is an architecture that separates engineering state, deterministic reasoning, grounded language realization, verification, and human release.