FDM-Bench: A Comprehensive Benchmark for Evaluating Large Language Models in Additive Manufacturing Tasks

📄 arXiv: 2412.09819v1 📥 PDF

作者: Ahmadreza Eslaminia, Adrian Jackson, Beitong Tian, Avi Stern, Hallie Gordon, Rajiv Malhotra, Klara Nahrstedt, Chenhui Shao

分类: cs.LG, eess.SY

发布日期: 2024-12-13

💡 一句话要点

FDM-Bench：用于评估大语言模型在增材制造任务中性能的综合基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 增材制造 熔融沉积建模 大语言模型 基准数据集 G代码 异常检测 用户查询 模型评估

📋 核心要点

  1. FDM技术应用广泛但设计、规划和生产过程复杂，缺乏专业知识成为参与障碍，现有方法难以有效解决。
  2. 提出FDM-Bench基准数据集，旨在全面评估大语言模型在FDM特定任务中的性能，包含用户查询和G代码样本。
  3. 实验评估了闭源和开源模型，结果表明闭源模型在G代码异常检测方面更优，Llama-3.1-405B在用户查询响应方面略胜一筹。

📝 摘要（中文）

熔融沉积建模(FDM)是一种广泛使用的增材制造(AM)技术，因其灵活性和成本效益而备受重视，在医疗保健和航空航天等多个行业中都有应用。 近期发展使得经济实惠的FDM机器变得普及，并鼓励了不同用户的采用。 然而，FDM中的设计、规划和生产过程需要专门的跨学科知识。 管理复杂的参数和解决打印缺陷仍然具有挑战性。 这些技术复杂性构成了阻碍没有技术背景的个人，甚至是没有接受过其他领域培训的专业工程师参与AM设计和制造的最关键障碍。 具有先进文本和代码处理能力的大语言模型(LLM)为解决FDM中的这些挑战提供了潜力。 为此，我们引入了FDM-Bench，这是一个旨在评估LLM在FDM特定任务上的基准数据集。 FDM-Bench通过包含各种经验水平的用户查询和代表一系列异常的G代码样本来实现全面评估。 我们在FDM-Bench上评估了两个闭源模型(GPT-4o和Claude 3.5 Sonnet)和两个开源模型(Llama-3.1-70B和Llama-3.1-405B)。 FDM专家小组详细评估了模型对用户查询的响应。 结果表明，闭源模型在G代码异常检测方面通常优于开源模型，而Llama-3.1-405B在响应用户查询方面表现出比其他模型略微的优势。 这些发现强调了FDM-Bench作为推进LLM在FDM中能力研究的基础工具的潜力。

🔬 方法详解

问题定义：论文旨在解决FDM（熔融沉积建模）领域中，由于技术复杂性导致非专业人士和缺乏相关领域知识的工程师难以参与设计和制造的问题。现有方法，特别是针对LLM在FDM应用的研究，通常侧重于特定用例，缺乏对多种模型和任务的全面评估。这使得难以有效利用LLM来简化FDM流程，解决参数管理和打印缺陷等挑战。

核心思路：论文的核心思路是构建一个综合性的基准数据集FDM-Bench，用于系统地评估LLM在FDM相关任务中的表现。通过提供包含各种经验水平的用户查询和代表不同异常的G代码样本，FDM-Bench旨在促进对LLM在FDM领域应用能力的深入理解和提升。这样设计的目的是为了弥补现有研究的不足，为未来的研究提供一个标准化的评估平台。

技术框架：FDM-Bench的技术框架主要包括数据集的构建和评估流程两部分。数据集构建方面，收集了涵盖不同经验水平的用户查询和包含各种异常的G代码样本。评估流程方面，选取了多个LLM（包括闭源和开源模型），利用FDM-Bench数据集对它们进行评估，并由FDM专家小组对模型的响应进行详细评估。整个框架旨在提供一个全面、客观的评估平台，从而推动LLM在FDM领域的应用研究。

关键创新：该论文的关键创新在于提出了FDM-Bench，这是一个专门针对评估LLM在FDM任务中性能的综合性基准数据集。与现有研究相比，FDM-Bench不仅覆盖了更广泛的任务类型和用户场景，还提供了包含各种异常的G代码样本，从而能够更全面地评估LLM在FDM领域的应用能力。

关键设计：FDM-Bench的关键设计包括：1) 数据集的多样性，涵盖不同经验水平的用户查询和各种类型的G代码异常；2) 评估指标的合理性，能够有效反映LLM在不同FDM任务中的性能；3) 专家评估的引入，确保评估结果的准确性和可靠性。此外，论文还对选取的LLM模型进行了详细的参数设置和调优，以确保评估结果的公平性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，闭源模型（GPT-4o和Claude 3.5 Sonnet）在G代码异常检测方面通常优于开源模型（Llama-3.1-70B和Llama-3.1-405B），而Llama-3.1-405B在响应用户查询方面表现出比其他模型略微的优势。这些结果验证了FDM-Bench作为评估LLM在FDM领域应用能力有效工具的潜力。

🎯 应用场景

FDM-Bench的应用场景广泛，可用于评估和优化LLM在增材制造领域的应用，例如辅助设计、参数优化、故障诊断和工艺改进。该基准的实际价值在于降低FDM技术的使用门槛，促进个性化定制和创新设计，未来有望加速增材制造技术在各行业的普及和应用。

📄 摘要（原文）

Fused Deposition Modeling (FDM) is a widely used additive manufacturing (AM) technique valued for its flexibility and cost-efficiency, with applications in a variety of industries including healthcare and aerospace. Recent developments have made affordable FDM machines accessible and encouraged adoption among diverse users. However, the design, planning, and production process in FDM require specialized interdisciplinary knowledge. Managing the complex parameters and resolving print defects in FDM remain challenging. These technical complexities form the most critical barrier preventing individuals without technical backgrounds and even professional engineers without training in other domains from participating in AM design and manufacturing. Large Language Models (LLMs), with their advanced capabilities in text and code processing, offer the potential for addressing these challenges in FDM. However, existing research on LLM applications in this field is limited, typically focusing on specific use cases without providing comprehensive evaluations across multiple models and tasks. To this end, we introduce FDM-Bench, a benchmark dataset designed to evaluate LLMs on FDM-specific tasks. FDM-Bench enables a thorough assessment by including user queries across various experience levels and G-code samples that represent a range of anomalies. We evaluate two closed-source models (GPT-4o and Claude 3.5 Sonnet) and two open-source models (Llama-3.1-70B and Llama-3.1-405B) on FDM-Bench. A panel of FDM experts assess the models' responses to user queries in detail. Results indicate that closed-source models generally outperform open-source models in G-code anomaly detection, whereas Llama-3.1-405B demonstrates a slight advantage over other models in responding to user queries. These findings underscore FDM-Bench's potential as a foundational tool for advancing research on LLM capabilities in FDM.