GenCAD-3D: CAD Program Generation using Multimodal Latent Space Alignment and Synthetic Dataset Balancing

📄 arXiv: 2509.15246v1 📥 PDF

作者: Nomi Yu, Md Ferdous Alam, A. John Hart, Faez Ahmed

分类: cs.GR, cs.AI

发布日期: 2025-09-17

备注: 9 figures, 15 pages. Accepted and soon published in the ASME Journal of Mechanical Design

DOI: 10.1115/1.4069276

💡 一句话要点

GenCAD-3D：利用多模态对齐和合成数据平衡生成CAD程序

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: CAD程序生成 多模态学习 对比学习 潜在扩散模型 合成数据增强 逆向工程 几何建模

📋 核心要点

  1. 现有CAD程序生成方法依赖大量人工干预，且深度生成模型受限于数据集不平衡和规模不足，尤其缺乏对复杂CAD程序的表示。
  2. GenCAD-3D通过对比学习对齐CAD和几何编码器的潜在空间，并利用潜在扩散模型生成CAD序列，从而实现从非参数数据自动生成CAD程序。
  3. 提出的SynthBal合成数据增强策略有效平衡和扩展数据集，显著提升了复杂几何体的重建精度和生成质量，超越现有基准。

📝 摘要（中文）

本文提出GenCAD-3D，一个多模态生成框架，旨在从点云和网格等非参数数据中自动生成CAD程序。该框架利用对比学习对齐CAD和几何编码器之间的潜在嵌入，并结合潜在扩散模型进行CAD序列生成和检索。此外，本文还提出了一种名为SynthBal的合成数据增强策略，专门用于平衡和扩展数据集，显著增强了复杂CAD几何体的表示。实验结果表明，SynthBal显著提高了重建精度，减少了无效CAD模型的生成，并显著提高了高复杂度几何体的性能，超越了现有基准。这些进展对简化逆向工程和增强工程设计自动化具有重要意义。论文将公开数据集和代码，包括51个3D打印和激光扫描部件。

🔬 方法详解

问题定义：论文旨在解决从非参数几何数据（如点云和网格）自动生成CAD程序的问题。现有方法需要大量人工干预，并且现有的深度学习模型受限于数据集的规模和质量，尤其是在表示复杂CAD程序时表现不佳。数据集的不平衡性也是一个主要痛点，导致模型难以学习到复杂几何体的生成规则。

核心思路：论文的核心思路是利用多模态学习的思想，通过对比学习将CAD程序和几何形状的潜在表示对齐。然后，利用潜在扩散模型在对齐的潜在空间中生成CAD程序序列。此外，通过合成数据增强策略SynthBal来平衡数据集，从而提高模型对复杂几何体的学习能力。

技术框架：GenCAD-3D框架包含以下几个主要模块：1) CAD编码器：将CAD程序编码为潜在向量表示。2) 几何编码器：将几何形状（点云或网格）编码为潜在向量表示。3) 对比学习模块：利用对比学习损失函数，对齐CAD和几何编码器的潜在空间。4) 潜在扩散模型：在对齐的潜在空间中生成CAD程序序列。5) SynthBal数据增强模块：生成合成CAD程序和对应的几何形状，用于平衡数据集。

关键创新：论文的关键创新在于以下几个方面：1) 提出了一个多模态生成框架，能够从非参数几何数据生成CAD程序。2) 利用对比学习对齐CAD和几何编码器的潜在空间，从而实现跨模态的知识迁移。3) 提出了SynthBal合成数据增强策略，有效平衡和扩展了数据集，提高了模型对复杂几何体的学习能力。

关键设计：对比学习模块使用InfoNCE损失函数来最大化正样本对（同一CAD程序及其对应的几何形状）之间的互信息，并最小化负样本对之间的互信息。潜在扩散模型使用U-Net架构，并采用DDPM（Denoising Diffusion Probabilistic Models）的训练方法。SynthBal通过随机组合现有的CAD命令来生成新的CAD程序，并使用CAD软件渲染生成对应的几何形状。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SynthBal数据增强策略显著提高了重建精度，降低了无效CAD模型的生成率，并显著提升了高复杂度几何体的性能。具体来说，在重建精度方面，GenCAD-3D超越了现有基准。此外，通过人工评估，GenCAD-3D生成的CAD模型在有效性和可用性方面也优于现有方法。论文还展示了GenCAD-3D在生成复杂CAD模型方面的能力，例如具有多个孔和复杂曲面的零件。

🎯 应用场景

GenCAD-3D具有广泛的应用前景，包括逆向工程、自动化设计、参数化建模和定制化产品设计等。它可以帮助工程师快速从现有零件的扫描数据生成CAD模型，从而加速产品开发流程。此外，该技术还可以用于生成具有特定功能的CAD模型，例如具有特定拓扑结构的零件。未来，该技术有望与人工智能设计工具相结合，实现完全自动化的工程设计。

📄 摘要（原文）

CAD programs, structured as parametric sequences of commands that compile into precise 3D geometries, are fundamental to accurate and efficient engineering design processes. Generating these programs from nonparametric data such as point clouds and meshes remains a crucial yet challenging task, typically requiring extensive manual intervention. Current deep generative models aimed at automating CAD generation are significantly limited by imbalanced and insufficiently large datasets, particularly those lacking representation for complex CAD programs. To address this, we introduce GenCAD-3D, a multimodal generative framework utilizing contrastive learning for aligning latent embeddings between CAD and geometric encoders, combined with latent diffusion models for CAD sequence generation and retrieval. Additionally, we present SynthBal, a synthetic data augmentation strategy specifically designed to balance and expand datasets, notably enhancing representation of complex CAD geometries. Our experiments show that SynthBal significantly boosts reconstruction accuracy, reduces the generation of invalid CAD models, and markedly improves performance on high-complexity geometries, surpassing existing benchmarks. These advancements hold substantial implications for streamlining reverse engineering and enhancing automation in engineering design. We will publicly release our datasets and code, including a set of 51 3D-printed and laser-scanned parts on our project site.