On the effectiveness of Large Language Models in the mechanical design domain

📄 arXiv: 2505.01559v1 📥 PDF

作者: Daniele Grandi, Fabian Riquelme

分类: cs.CL, cs.LG

发布日期: 2025-05-02

💡 一句话要点

评估大型语言模型在机械设计领域的有效性，揭示领域特定失败模式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机械工程 语义理解 无监督学习 零样本分类

📋 核心要点

  1. 现有方法在机械工程领域利用大型语言模型时，对领域特定语义信息的理解不足，导致性能受限。
  2. 通过构建二元句子对分类和零样本分类任务，评估模型在理解装配体和零件语义关系方面的能力。
  3. 实验结果表明，微调后的模型在二元分类和零样本分类任务中均取得显著提升，但仍存在领域特定的失败模式。

📝 摘要（中文）

本文旨在评估大型语言模型在机械工程领域的性能。研究利用ABC数据集中的语义数据，包括设计者赋予装配体的名称和零件的语义名称。通过预处理数据，开发了两个无监督任务来评估不同模型架构在领域特定数据上的表现：二元句子对分类任务和零样本分类任务。通过微调模型，在二元句子对分类任务中实现了0.62的准确率，该模型侧重于对抗过拟合，具体方法包括：调整学习率、dropout值、序列长度以及添加多头注意力层。在零样本分类任务中，该模型大幅优于基线模型，实现了0.386的top-1分类准确率。研究结果揭示了在此领域中从语言学习时出现的特定失败模式。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在机械工程领域应用时，对领域特定语义信息理解不足的问题。现有方法难以有效利用机械设计中装配体和零件的语义关系，导致模型性能受限。例如，模型可能无法准确判断两个零件名称是否属于同一装配体，或者无法根据零件名称推断其功能。

核心思路：论文的核心思路是利用机械工程领域特有的数据集（ABC数据集）中的语义信息，构建无监督学习任务，从而评估和提升大型语言模型在该领域的性能。通过设计合适的任务和微调策略，使模型能够更好地理解和利用装配体和零件之间的语义关系。

技术框架：整体框架包括数据预处理、任务构建、模型选择与微调以及性能评估四个主要阶段。首先，对ABC数据集中的装配体和零件名称进行预处理，提取语义信息。然后，构建二元句子对分类任务和零样本分类任务。接着，选择合适的大型语言模型，并使用预处理后的数据进行微调。最后，通过评估模型在两个任务上的性能，分析其在机械工程领域的表现。

关键创新：论文的关键创新在于针对机械工程领域，设计了特定的无监督学习任务，并探索了有效的模型微调策略。通过二元句子对分类任务，模型学习判断两个零件名称是否属于同一装配体；通过零样本分类任务，模型学习根据零件名称推断其类别。此外，论文还针对过拟合问题，提出了调整学习率、dropout值、序列长度以及添加多头注意力层等微调策略。

关键设计：在二元句子对分类任务中，输入是两个零件名称，输出是二者是否属于同一装配体的二元标签。模型采用Transformer架构，并添加了多头注意力层以增强对语义关系的建模能力。为了防止过拟合，采用了较小的学习率、较大的dropout值和较短的序列长度。在零样本分类任务中，模型直接根据零件名称预测其类别，无需额外的训练数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过微调的模型在二元句子对分类任务中达到了0.62的准确率，相较于未微调的模型有显著提升。在零样本分类任务中，该模型取得了0.386的top-1分类准确率，大幅优于基线模型。这些结果验证了该方法在提升大型语言模型在机械工程领域性能方面的有效性，并揭示了模型在该领域学习时存在的特定失败模式。

🎯 应用场景

该研究成果可应用于智能CAD系统、自动化装配设计、零件检索与推荐等领域。通过提升大型语言模型对机械工程领域语义信息的理解能力，可以提高设计效率、降低设计成本，并促进智能制造的发展。未来，可以将该方法扩展到其他工程领域，例如电子工程、土木工程等。

📄 摘要（原文）

In this work, we seek to understand the performance of large language models in the mechanical engineering domain. We leverage the semantic data found in the ABC dataset, specifically the assembly names that designers assigned to the overall assemblies, and the individual semantic part names that were assigned to each part. After pre-processing the data we developed two unsupervised tasks to evaluate how different model architectures perform on domain-specific data: a binary sentence-pair classification task and a zero-shot classification task. We achieved a 0.62 accuracy for the binary sentence-pair classification task with a fine-tuned model that focuses on fighting over-fitting: 1) modifying learning rates, 2) dropout values, 3) Sequence Length, and 4) adding a multi-head attention layer. Our model on the zero-shot classification task outperforms the baselines by a wide margin, and achieves a top-1 classification accuracy of 0.386. The results shed some light on the specific failure modes that arise when learning from language in this domain.