VisCAD: A Foundation Model Suite with Multimodal Industrial CAD Intelligence

📄 arXiv: 2609.03811v2 📥 PDF

作者: Guanlin Li, Zhichao Huang, Huimu Yu, Yichen Long, Hongsen Liu, Linxin Cai, Qiuhe Hong, Ziqi Liu, Luya Wang, Wenxiang Wu, Ning Zhang, Yuchen Wang

分类: cs.CV, cs.CL

发布日期: 2026-09-03 (更新: 2026-09-04)

备注: Technical report

💡 一句话要点

提出VisCAD以解决工业CAD设计中的多模态生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成 计算机辅助设计 工业产品设计 基础模型 性能提升

📋 核心要点

  1. 现有CAD模型在狭窄输入领域训练，泛化能力不足，导致在多模态输入下表现不佳。
  2. VisCAD通过构建一个基础模型套件，结合多模态输入，提升了工业产品的CAD设计能力。
  3. VisCAD-M1在PubCADBench和RealCADBench上取得了0.5540的平均分，相较于最强通用模型有显著提升。

📝 摘要（中文）

人工智能辅助的计算机辅助设计（CAD）在工业产品设计中面临两个主要挑战：部件级生成和装配级生成。部件级生成需要将用户意图（如渲染、文本描述、2D图纸和真实照片）映射到可执行的CAD领域特定语言程序中，而装配级生成则需处理交互部件、规划配合关系、估计姿态并正确放置所有部件。现有的CAD模型通常在狭窄的输入领域上训练，泛化能力差，而通用模型在CAD领域表现不一致。为此，本文提出了VisCAD，一个旨在提供广泛泛化能力和强大CAD能力的基础模型套件。核心模型VisCAD-M1在部件级设计生成方面表现优异，达到了0.5540的平均分，较强的通用模型提高了约5%的相对性能。

🔬 方法详解

问题定义：本文旨在解决工业CAD设计中部件级和装配级生成的挑战，现有方法在多模态输入下泛化能力不足，导致设计效果不理想。

核心思路：VisCAD通过构建一个基础模型套件，结合多模态输入，提升CAD设计的准确性和效率，核心模型VisCAD-M1专注于部件级设计生成。

技术框架：VisCAD的整体架构包括部件级生成和装配级生成两个主要模块，部件级生成使用VisCAD-M1模型，装配级生成则结合了领域特定的工具和通用模型。

关键创新：VisCAD的主要创新在于其基础模型的设计，能够处理多种输入形式，并在部件级生成中实现了显著的性能提升，与现有方法相比具有更好的泛化能力。

关键设计：在模型训练中，采用了中期训练和后期训练的策略，优化了损失函数和网络结构，以提高模型在多模态输入下的表现。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，VisCAD-M1在PubCADBench和RealCADBench上取得了0.5540的平均分，相较于最强通用模型的0.5496，提升了约5%。此外，作为测试时的验证器，VisCAD-M1的使用进一步将分数提升至0.5797，显示出其强大的性能。

🎯 应用场景

VisCAD的研究成果可广泛应用于工业设计、产品开发和制造等领域，能够有效提升CAD设计的效率和准确性，降低设计成本。未来，随着模型的进一步优化，其在智能制造和自动化设计中的潜力将更加显著。

📄 摘要（原文）

AI-assisted computer-aided design (CAD) for industrial products involves two challenging phases. Part-level generation maps diverse forms of user intent, including renders, text descriptions, 2D drawings, and real photographs, to executable programs in a CAD domain-specific language. Assembly-level generation must additionally handle interacting parts, plan mating relations, estimate poses, and place all parts correctly. Existing specialized CAD models are commonly trained on narrow input domains, such as renders or texts, and often generalize poorly, while general-purpose frontier models cover broader inputs but perform inconsistently across CAD domains. We present VisCAD, a foundation model suite designed to provide both broad generalization and strong CAD capability for realistic industrial products. At its core is VisCAD-M1, a 27B model trained through mid-training and post-training for part-level design generation. On PubCADBench and RealCADBench, VisCAD-M1 achieves the highest average part-level score among the evaluated models, reaching 0.5540 compared with 0.5496 for the strongest frontier model. Reusing VisCAD-M1 as a test-time verifier can further raise the score to 0.5797, an approximately 5 percent relative improvement over the previous state of the art. VisCAD also includes a domain-specific harness that leverages frontier models for complex assembly generation and demonstrates advantages over general-purpose harnesses in both quantitative and qualitative evaluations.