CME-CAD: Heterogeneous Collaborative Multi-Expert Reinforcement Learning for CAD Code Generation

📄 arXiv: 2512.23333v1 📥 PDF

作者: Ke Niu, Haiyang Yu, Zhuofan Chen, Zhengtao Yao, Weitao Jia, Xiaodong Ge, Jingqun Tang, Benlei Cui, Bin Li, Xiangyang Xue

分类: cs.CV

发布日期: 2025-12-29

💡 一句话要点

提出CME-CAD异构协作多专家强化学习框架，用于高精度可编辑CAD代码生成。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: CAD代码生成 强化学习 多专家系统 异构协作 工业设计

📋 核心要点

  1. 现有方法重建的3D模型通常不可编辑且精度不足，难以满足工业设计对精度和可编辑性的严格要求。
  2. CME-CAD通过异构多专家协作学习，结合各模型的优势，提升CAD代码生成模型的精度和可编辑性。
  3. 论文构建了包含17,299个实例的CADExpert基准数据集，为CAD代码生成研究提供了数据支撑。

📝 摘要（中文）

本文提出了一种用于CAD代码生成的新型训练范式——异构协作多专家强化学习(CME-CAD)。该方法集成了多种模型的互补优势，促进协作学习，提高模型生成精确、兼容约束且完全可编辑的CAD模型的能力。我们提出了一个两阶段训练过程：多专家微调(MEFT)和多专家强化学习(MERL)。此外，我们还提出了CADExpert，一个包含17,299个实例的开源基准，包括正交投影和精确的尺寸标注、专家生成的思维链(CoT)过程、可执行的CADQuery代码和渲染的3D模型。

🔬 方法详解

问题定义：现有方法在从草图重建3D模型时，生成的模型通常是非可编辑的，并且精度有限，无法满足工业设计中对模型精度和可编辑性的严格要求。此外，依赖文本或图像输入的现有方法通常需要大量的人工标注，限制了它们在工业环境中的可扩展性和适用性。

核心思路：CME-CAD的核心思路是利用异构多专家模型的互补优势，通过协作学习来提高CAD代码生成模型的性能。不同的专家模型可能擅长不同的方面，例如几何推理、约束求解或代码生成。通过将这些专家模型集成在一起，可以充分利用它们的优势，从而生成更精确、更符合约束且更易于编辑的CAD模型。

技术框架：CME-CAD的整体框架包含两个主要阶段：多专家微调(MEFT)和多专家强化学习(MERL)。在MEFT阶段，使用CADExpert数据集对各个专家模型进行微调，使其具备基本的CAD代码生成能力。在MERL阶段，使用强化学习来进一步优化专家模型的协作策略，使其能够更好地协同工作，生成高质量的CAD代码。

关键创新：CME-CAD的关键创新在于提出了异构协作多专家强化学习的训练范式。与传统的单模型方法相比，CME-CAD能够更好地利用不同模型的优势，从而提高CAD代码生成模型的性能。此外，CADExpert数据集的构建也为CAD代码生成研究提供了重要的资源。

关键设计：MEFT阶段使用交叉熵损失函数来训练专家模型，使其能够准确地预测CAD代码的下一个token。MERL阶段使用策略梯度方法来优化专家模型的协作策略，奖励函数的设计考虑了模型的精度、约束满足度和可编辑性。具体的网络结构和参数设置在论文中有详细描述，但此处未提供具体数值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了CADExpert基准数据集，包含17,299个实例，为CAD代码生成研究提供了数据支撑。实验结果表明，CME-CAD在CAD代码生成任务上取得了显著的性能提升，相较于现有方法，生成的CAD模型精度更高，可编辑性更强。具体的性能指标和对比结果在论文中有详细描述，但此处未提供具体数值。

🎯 应用场景

CME-CAD在工业设计领域具有广泛的应用前景。它可以用于自动化生成高精度、可编辑的CAD模型，从而提高设计效率，降低设计成本。此外，CME-CAD还可以用于辅助设计师进行创新设计，例如，通过生成不同的设计方案，帮助设计师探索更多的可能性。未来，CME-CAD有望成为工业设计领域的重要工具。

📄 摘要（原文）

Computer-Aided Design (CAD) is essential in industrial design, but the complexity of traditional CAD modeling and workflows presents significant challenges for automating the generation of high-precision, editable CAD models. Existing methods that reconstruct 3D models from sketches often produce non-editable and approximate models that fall short of meeting the stringent requirements for precision and editability in industrial design. Moreover, the reliance on text or image-based inputs often requires significant manual annotation, limiting their scalability and applicability in industrial settings. To overcome these challenges, we propose the Heterogeneous Collaborative Multi-Expert Reinforcement Learning (CME-CAD) paradigm, a novel training paradigm for CAD code generation. Our approach integrates the complementary strengths of these models, facilitating collaborative learning and improving the model's ability to generate accurate, constraint-compatible, and fully editable CAD models. We introduce a two-stage training process: Multi-Expert Fine-Tuning (MEFT), and Multi-Expert Reinforcement Learning (MERL). Additionally, we present CADExpert, an open-source benchmark consisting of 17,299 instances, including orthographic projections with precise dimension annotations, expert-generated Chain-of-Thought (CoT) processes, executable CADQuery code, and rendered 3D models.