CAD-Llama: Leveraging Large Language Models for Computer-Aided Design Parametric 3D Model Generation

📄 arXiv: 2505.04481v2 📥 PDF

作者: Jiahao Li, Weijian Ma, Xueyang Li, Yunzhong Lou, Guichun Zhou, Xiangdong Zhou

分类: cs.CV

发布日期: 2025-05-07 (更新: 2025-06-10)

💡 一句话要点

CAD-Llama：利用大型语言模型生成参数化CAD 3D模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: CAD模型生成 大型语言模型 参数化建模 自适应预训练 指令调优

📋 核心要点

  1. 现有方法难以让LLM直接生成CAD模型参数序列，主要挑战在于LLM缺乏对3D结构的感知和对参数序列的预训练经验。
  2. CAD-Llama通过分层标注和类代码格式将CAD命令序列转换为结构化参数化CAD代码（SPCC），并进行自适应预训练和指令调优。
  3. 实验结果表明，CAD-Llama显著优于现有的自回归方法和LLM基线，证明了该框架在参数化CAD模型生成方面的有效性。

📝 摘要（中文）

本文研究了利用大型语言模型（LLMs）生成计算机辅助设计（CAD）模型的参数序列。这是一项利用LLM创建参数化3D形状的初步尝试，因为CAD模型参数与三维空间中的形状直接相关。尽管LLM具有强大的生成能力，但由于这些模型在预训练阶段没有遇到过参数序列，并且不具备对3D结构的直接感知，因此这项任务仍然具有挑战性。为了解决这个问题，我们提出了CAD-Llama，一个旨在增强预训练LLM以生成参数化3D CAD模型的框架。具体来说，我们开发了一个分层标注流程和一个类代码格式，将参数化3D CAD命令序列转换为结构化参数化CAD代码（SPCC），其中包含分层语义描述。此外，我们提出了一种利用SPCC的自适应预训练方法，然后进行符合CAD特定指导的指令调优过程。这种方法旨在使LLM具备参数序列中固有的空间知识。实验结果表明，我们的框架明显优于先前的自回归方法和现有的LLM基线。

🔬 方法详解

问题定义：论文旨在解决如何利用大型语言模型（LLMs）生成参数化的3D CAD模型的问题。现有的LLM虽然在文本生成方面表现出色，但它们在预训练阶段并未接触过CAD模型的参数序列，因此缺乏对3D结构的直接感知，难以直接生成有效的CAD模型参数。

核心思路：论文的核心思路是将CAD模型的参数序列转换为一种结构化的、类代码的格式，称为结构化参数化CAD代码（SPCC）。通过这种方式，LLM可以更容易地理解和生成CAD模型的参数，同时利用分层语义描述来增强LLM对3D结构的理解。

技术框架：CAD-Llama框架主要包含三个阶段：1) 分层标注流程，用于将CAD命令序列转换为SPCC；2) 自适应预训练，利用SPCC对LLM进行预训练，使其具备生成CAD模型参数的能力；3) 指令调优，根据CAD特定的指导原则对LLM进行微调，以提高生成CAD模型的质量和准确性。

关键创新：该论文的关键创新在于提出了SPCC这种结构化的CAD模型表示方法，以及利用SPCC进行自适应预训练和指令调优的方法。SPCC能够有效地将CAD模型的参数信息传递给LLM，而自适应预训练和指令调优则能够使LLM更好地理解和生成CAD模型。

关键设计：论文设计了一个分层标注流程，将CAD命令序列分解为不同的层次，并为每个层次添加语义描述。此外，论文还设计了一个自适应预训练策略，根据SPCC的特点调整预训练的目标函数和训练数据。指令调优阶段则采用了CAD领域特定的指令数据，以提高LLM生成CAD模型的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CAD-Llama框架在参数化CAD模型生成方面显著优于先前的自回归方法和现有的LLM基线。具体性能提升数据未知，但论文强调了其框架的优越性，表明在CAD模型生成任务上取得了显著进展。

🎯 应用场景

该研究成果可应用于自动化CAD模型设计、智能制造、建筑设计等领域。通过利用LLM的强大生成能力，可以显著提高CAD模型设计的效率和创造性，降低设计成本，并为用户提供更加个性化的设计方案。未来，该技术有望与VR/AR等技术结合，实现更加直观和交互式的CAD模型设计体验。

📄 摘要（原文）

Recently, Large Language Models (LLMs) have achieved significant success, prompting increased interest in expanding their generative capabilities beyond general text into domain-specific areas. This study investigates the generation of parametric sequences for computer-aided design (CAD) models using LLMs. This endeavor represents an initial step towards creating parametric 3D shapes with LLMs, as CAD model parameters directly correlate with shapes in three-dimensional space. Despite the formidable generative capacities of LLMs, this task remains challenging, as these models neither encounter parametric sequences during their pretraining phase nor possess direct awareness of 3D structures. To address this, we present CAD-Llama, a framework designed to enhance pretrained LLMs for generating parametric 3D CAD models. Specifically, we develop a hierarchical annotation pipeline and a code-like format to translate parametric 3D CAD command sequences into Structured Parametric CAD Code (SPCC), incorporating hierarchical semantic descriptions. Furthermore, we propose an adaptive pretraining approach utilizing SPCC, followed by an instruction tuning process aligned with CAD-specific guidelines. This methodology aims to equip LLMs with the spatial knowledge inherent in parametric sequences. Experimental results demonstrate that our framework significantly outperforms prior autoregressive methods and existing LLM baselines.