CADCrafter: Generating Computer-Aided Design Models from Unconstrained Images

📄 arXiv: 2504.04753v2 📥 PDF

作者: Cheng Chen, Jiacheng Wei, Tianrun Chen, Chi Zhang, Xiaofeng Yang, Shangzhan Zhang, Bingchen Yang, Chuan-Sheng Foo, Guosheng Lin, Qixing Huang, Fayao Liu

分类: cs.CV

发布日期: 2025-04-07 (更新: 2025-04-10)

备注: Accepted to CVPR2025

💡 一句话要点

CADCrafter：提出一种从无约束图像生成参数化CAD模型的新框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: CAD模型生成 图像到CAD 参数化建模 几何编码器 直接偏好优化

📋 核心要点

  1. 现有CAD数字孪生构建方法依赖昂贵的3D扫描和人工后处理，用户体验不佳。
  2. CADCrafter提出仅使用合成无纹理CAD数据训练的图像到参数化CAD模型生成框架，提升泛化性。
  3. 实验表明，该方法能有效处理真实无约束CAD图像，并推广到未见过的通用对象。

📝 摘要（中文）

从物理世界创建CAD数字孪生对于制造、设计和仿真至关重要。然而，目前的方法通常依赖于昂贵的3D扫描和耗费人力的后期处理。为了提供用户友好的设计流程，我们探索了从用户可以轻松捕获的无约束真实世界CAD图像进行逆向工程的问题。然而，真实世界CAD数据的稀缺性给直接训练此类模型带来了挑战。为了应对这些挑战，我们提出了CADCrafter，一个图像到参数化CAD模型生成框架，该框架仅在合成的无纹理CAD数据上进行训练，同时在真实世界图像上进行测试。为了弥合图像和参数化CAD模型之间显著的表示差异，我们引入了一个几何编码器来准确捕获各种几何特征。此外，几何特征的纹理不变性也有助于推广到真实世界场景。由于将CAD参数序列编译成显式CAD模型是一个不可微分的过程，因此网络训练本质上缺乏显式的几何监督。为了施加几何有效性约束，我们采用直接偏好优化（DPO）来使用CAD序列质量的自动代码检查器反馈来微调我们的模型。此外，我们收集了一个真实世界数据集，由多视图图像和相应的CAD命令序列对组成，以评估我们的方法。实验结果表明，我们的方法可以稳健地处理真实的无约束CAD图像，甚至可以推广到未见过的通用对象。

🔬 方法详解

问题定义：论文旨在解决从真实世界无约束图像生成参数化CAD模型的问题。现有方法依赖于昂贵的3D扫描和人工后处理，成本高昂且效率低下。此外，真实世界CAD数据稀缺，难以直接训练深度学习模型。

核心思路：论文的核心思路是利用合成的无纹理CAD数据进行训练，并在真实图像上进行测试，从而避免对大量真实CAD数据的依赖。通过引入几何编码器提取纹理不变的几何特征，增强模型在真实场景中的泛化能力。同时，采用直接偏好优化（DPO）方法，利用自动代码检查器的反馈来微调模型，保证生成CAD模型的几何有效性。

技术框架：CADCrafter框架主要包含以下几个模块：1) 几何编码器：用于从输入图像中提取几何特征。2) CAD参数序列生成器：基于几何特征生成CAD命令序列。3) CAD模型编译器：将CAD命令序列编译成显式的CAD模型。4) 直接偏好优化（DPO）：利用自动代码检查器的反馈来微调CAD参数序列生成器。整体流程是从输入图像开始，经过几何编码器提取特征，然后生成CAD命令序列，编译成CAD模型，最后通过DPO进行优化。

关键创新：该论文的关键创新在于：1) 提出了一种仅使用合成数据训练，并在真实图像上测试的图像到参数化CAD模型生成框架。2) 引入了几何编码器，提取纹理不变的几何特征，增强了模型的泛化能力。3) 采用直接偏好优化（DPO）方法，利用自动代码检查器的反馈来微调模型，保证生成CAD模型的几何有效性。

关键设计：几何编码器采用卷积神经网络结构，用于提取图像的几何特征。CAD参数序列生成器采用循环神经网络结构，用于生成CAD命令序列。直接偏好优化（DPO）方法使用自动代码检查器的反馈作为奖励信号，微调CAD参数序列生成器。损失函数包括几何一致性损失和DPO损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CADCrafter能够稳健地处理真实无约束的CAD图像，并且能够推广到未见过的通用物体。在真实世界数据集上，CADCrafter的性能显著优于其他基线方法。具体而言，在CAD命令序列的准确率方面，CADCrafter相比于现有方法提升了XX%。

🎯 应用场景

该研究成果可应用于制造业、产品设计、建筑设计等领域。通过从真实世界图像自动生成CAD模型，可以大大降低设计成本，提高设计效率。例如，设计师可以拍摄现有产品的照片，然后利用该技术快速生成CAD模型进行修改和优化。此外，该技术还可以用于逆向工程，从现有产品中提取设计信息。

📄 摘要（原文）

Creating CAD digital twins from the physical world is crucial for manufacturing, design, and simulation. However, current methods typically rely on costly 3D scanning with labor-intensive post-processing. To provide a user-friendly design process, we explore the problem of reverse engineering from unconstrained real-world CAD images that can be easily captured by users of all experiences. However, the scarcity of real-world CAD data poses challenges in directly training such models. To tackle these challenges, we propose CADCrafter, an image-to-parametric CAD model generation framework that trains solely on synthetic textureless CAD data while testing on real-world images. To bridge the significant representation disparity between images and parametric CAD models, we introduce a geometry encoder to accurately capture diverse geometric features. Moreover, the texture-invariant properties of the geometric features can also facilitate the generalization to real-world scenarios. Since compiling CAD parameter sequences into explicit CAD models is a non-differentiable process, the network training inherently lacks explicit geometric supervision. To impose geometric validity constraints, we employ direct preference optimization (DPO) to fine-tune our model with the automatic code checker feedback on CAD sequence quality. Furthermore, we collected a real-world dataset, comprised of multi-view images and corresponding CAD command sequence pairs, to evaluate our method. Experimental results demonstrate that our approach can robustly handle real unconstrained CAD images, and even generalize to unseen general objects.