Context-Aware Mapping of 2D Drawing Annotations to 3D CAD Features Using LLM-Assisted Reasoning for Manufacturing Automation
作者: Muhammad Tayyab Khana, Lequn Chen, Wenhe Feng, Seung Ki Moon
分类: cs.CE, cs.AI
发布日期: 2026-02-20
💡 一句话要点
提出一种基于LLM辅助推理的上下文感知映射方法，用于2D图纸标注到3D CAD特征的映射，以促进制造自动化。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 2D-3D映射 CAD模型 工程图纸 制造自动化 大型语言模型 上下文感知 几何特征
📋 核心要点
- 现有方法难以准确关联2D图纸标注与3D CAD特征，面临上下文模糊、特征重复等挑战，阻碍了制造自动化。
- 该论文提出一种上下文感知的框架，结合确定性规则、多模态LLM推理和人工干预，实现2D标注到3D特征的精确映射。
- 实验结果表明，该方法在真实CAD图纸上取得了显著的精度、召回率和F1分数，优于简化变体，为实际应用奠定基础。
📝 摘要（中文）
在过程规划、检验规划和数字线程集成中的制造自动化依赖于统一的规范，该规范将3D CAD模型的几何特征与相应的2D工程图所携带的几何尺寸和公差(GD&T)标注、基准定义和表面要求绑定。尽管基于模型的定义(MBD)允许将此类规范直接嵌入到3D模型中，但在汽车、航空航天、造船和重型机械行业中，2D图纸仍然是制造意图的主要载体。由于上下文模糊性、重复的特征模式以及对透明和可追溯决策的需求，正确地将图纸标注链接到相应的3D特征非常困难。本文提出了一种确定性优先、上下文感知的框架，该框架将2D图纸实体映射到3D CAD特征，以生成统一的制造规范。首先对图纸标注进行语义丰富，然后使用可解释的指标对候选特征进行评分，该指标结合了类型兼容性、公差感知的尺寸一致性和保守的上下文一致性，以及工程领域的启发式方法。当确定性评分无法解决歧义时，系统会升级到多模态和约束的大型语言模型推理，然后进行单个人工干预(HITL)审查步骤。在20个真实CAD图纸对上的实验实现了83.67%的平均精度，90.46%的召回率和86.29%的F1分数。一项消融研究表明，每个管道组件都有助于提高整体准确性，完整的系统优于所有简化的变体。通过优先考虑确定性规则、清晰的决策跟踪以及保留未解决的案例供人工审查，该框架为现实工业环境中的下游制造自动化提供了实践基础。
🔬 方法详解
问题定义：该论文旨在解决将2D工程图纸上的标注信息准确映射到3D CAD模型对应特征的问题。现有方法在处理上下文模糊、重复特征以及需要可追溯决策时存在困难，导致映射精度不高，无法满足制造自动化的需求。
核心思路：论文的核心思路是采用一种“确定性优先”的策略，首先利用确定性规则进行初步映射，对于无法通过确定性规则解决的歧义，则升级到基于多模态和约束的大型语言模型（LLM）推理，最后通过人工干预（HITL）进行最终确认。这种分层方法旨在最大限度地利用可解释的规则，同时在必要时引入更复杂的推理和人工辅助。
技术框架：该框架包含以下主要阶段：1) 2D图纸标注的语义丰富；2) 使用可解释指标对候选3D CAD特征进行评分，该指标结合了类型兼容性、公差感知的尺寸一致性和保守的上下文一致性，以及工程领域的启发式方法；3) 当确定性评分无法解决歧义时，使用多模态和约束的LLM进行推理；4) 人工干预（HITL）审查。整个流程旨在实现从2D图纸到3D CAD特征的精确映射，并提供可追溯的决策过程。
关键创新：该论文的关键创新在于结合了确定性规则、LLM推理和人工干预，形成一个完整的上下文感知映射框架。通过优先使用确定性规则，可以减少对LLM的依赖，提高效率和可解释性。同时，LLM的引入可以处理更复杂的上下文关系和歧义，而人工干预则可以确保最终结果的准确性。
关键设计：该论文的关键设计包括：1) 用于候选特征评分的可解释指标，该指标综合考虑了多种因素；2) 多模态LLM推理，利用图像和文本信息进行更准确的特征匹配；3) 人工干预环节，用于处理LLM无法解决的复杂情况。具体的参数设置、损失函数和网络结构等技术细节在论文中可能没有详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
在20个真实CAD图纸对上的实验结果表明，该方法实现了83.67%的平均精度，90.46%的召回率和86.29%的F1分数。消融研究表明，每个管道组件都有助于提高整体准确性，完整的系统优于所有简化的变体，验证了该方法的有效性。
🎯 应用场景
该研究成果可应用于过程规划、检验规划和数字线程集成等制造自动化领域。通过自动将2D图纸标注映射到3D CAD特征，可以减少人工干预，提高效率，并为下游制造流程提供统一的规范。该方法在汽车、航空航天、造船和重型机械等行业具有广泛的应用前景。
📄 摘要（原文）
Manufacturing automation in process planning, inspection planning, and digital-thread integration depends on a unified specification that binds the geometric features of a 3D CAD model to the geometric dimensioning and tolerancing (GD&T) callouts, datum definitions, and surface requirements carried by the corresponding 2D engineering drawing. Although Model-Based Definition (MBD) allows such specifications to be embedded directly in 3D models, 2D drawings remain the primary carrier of manufacturing intent in automotive, aerospace, shipbuilding, and heavy-machinery industries. Correctly linking drawing annotations to the corresponding 3D features is difficult because of contextual ambiguity, repeated feature patterns, and the need for transparent and traceable decisions. This paper presents a deterministic-first, context-aware framework that maps 2D drawing entities to 3D CAD features to produce a unified manufacturing specification. Drawing callouts are first semantically enriched and then scored against candidate features using an interpretable metric that combines type compatibility, tolerance-aware dimensional agreement, and conservative context consistency, along with engineering-domain heuristics. When deterministic scoring cannot resolve an ambiguity, the system escalates to multimodal and constrained large-language-model reasoning, followed by a single human-in-the-loop (HITL) review step. Experiments on 20 real CAD-drawing pairs achieve a mean precision of 83.67%, recall of 90.46%, and F1 score of 86.29%. An ablation study shows that each pipeline component contributes to overall accuracy, with the full system outperforming all reduced variants. By prioritizing deterministic rules, clear decision tracking, and retaining unresolved cases for human review, the framework provides a practical foundation for downstream manufacturing automation in real-world industrial environments.