Hybrid Synthetic Data Generation with Domain Randomization Enables Zero-Shot Vision-Based Part Inspection Under Extreme Class Imbalance
作者: Ruo-Syuan Mei, Sixian Jia, Guangze Li, Soo Yeon Lee, Brian Musser, William Keller, Sreten Zakula, Jorge Arinez, Chenhui Shao
分类: cs.CV, cs.LG
发布日期: 2025-11-28
备注: Submitted to the NAMRC 54
💡 一句话要点
提出基于混合合成数据和领域随机化的零样本零件质检方法，解决极端类别不平衡问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 合成数据生成 领域随机化 零样本学习 工业质检 类别不平衡 目标检测 图像分类
📋 核心要点
- 传统工业质检依赖大量标注数据，获取成本高昂，且缺陷样本稀少导致类别不平衡，影响模型性能。
- 论文提出混合合成数据生成框架，结合仿真渲染、领域随机化和真实背景合成，实现零样本零件质检。
- 实验表明，该方法在真实工业零件上取得了优异的检测和分类精度，显著优于少量真实数据训练的基线方法。
📝 摘要（中文）
机器学习，特别是深度学习，正在变革工业质量检测。然而，训练稳健的机器学习模型通常需要大量高质量的标注数据，这在制造业中获取成本高昂、耗时且劳动密集。此外，缺陷样本本质上是稀有的，导致严重的类别不平衡，从而降低模型性能。这些数据约束阻碍了基于机器学习的质量检测方法在实际生产环境中的广泛应用。合成数据生成（SDG）提供了一个有希望的解决方案，它能够以高效、经济且可扩展的方式创建大型、平衡且完全标注的数据集。本文提出了一种混合SDG框架，该框架集成了基于仿真的渲染、领域随机化和真实背景合成，从而实现基于计算机视觉的工业零件检测的零样本学习，而无需手动标注。SDG流程通过改变零件几何形状、光照和表面属性，并在一个小时内生成12,960个标注图像，然后将合成零件合成到真实图像背景上。一个两阶段架构，利用YOLOv8n作为目标检测的主干网络，MobileNetV3-small作为质量分类的主干网络，完全在合成数据上训练，并在300个真实工业零件上进行评估。所提出的方法在检测方面实现了0.995的mAP@0.5，96%的分类准确率和90.1%的平衡准确率。与少量真实数据基线方法相比，该方法表现出显著的改进。在严重的类别不平衡下，所提出的基于SDG的方法实现了90-91%的平衡准确率，而基线方法仅达到50%的准确率。这些结果表明，所提出的方法能够为实际制造应用实现无标注、可扩展且稳健的质量检测。
🔬 方法详解
问题定义：论文旨在解决工业零件质检中，由于缺陷样本稀少和标注成本高昂导致的类别不平衡问题。现有方法依赖大量真实标注数据，难以满足实际生产需求，且在类别不平衡情况下性能显著下降。
核心思路：论文的核心思路是利用合成数据生成（SDG）技术，创建大量带有精确标注的合成图像，并在合成数据上训练模型，使其具备在真实场景中进行零样本质检的能力。通过领域随机化，增强模型对真实环境变化的鲁棒性。
技术框架：该方法采用混合SDG框架，包含以下主要模块：1) 基于仿真的渲染：生成具有不同几何形状、光照和表面属性的合成零件图像。2) 领域随机化：对合成图像的光照、纹理、背景等进行随机化处理，模拟真实环境的变化。3) 真实背景合成：将合成零件图像与真实背景图像进行合成，增强真实感。4) 两阶段检测与分类：使用YOLOv8n进行目标检测，定位零件位置；使用MobileNetV3-small进行质量分类，判断零件是否合格。
关键创新：该方法最重要的技术创新在于混合SDG框架，它结合了仿真渲染、领域随机化和真实背景合成，能够生成高质量的合成数据，有效解决类别不平衡问题，并实现零样本学习。与传统的纯仿真或纯真实数据方法相比，该方法更具成本效益和可扩展性。
关键设计：在领域随机化方面，论文对光照强度、颜色、纹理、噪声等参数进行了随机化设置。在网络结构方面，选择了轻量级的YOLOv8n和MobileNetV3-small，以保证模型的推理速度和资源消耗。损失函数方面，使用了YOLOv8n自带的损失函数和交叉熵损失函数。
🖼️ 关键图片
📊 实验亮点
该方法在300个真实工业零件上进行了评估，实现了0.995的mAP@0.5检测精度，96%的分类准确率和90.1%的平衡准确率。在严重的类别不平衡下，该方法实现了90-91%的平衡准确率，而基于少量真实数据的基线方法仅达到50%的准确率，表明该方法在解决类别不平衡问题方面具有显著优势。
🎯 应用场景
该研究成果可广泛应用于自动化工业质检领域，例如汽车零部件、电子元件、机械零件等产品的质量检测。该方法能够降低标注成本，提高检测效率和准确性，并可扩展到其他需要处理类别不平衡问题的计算机视觉任务中，具有重要的实际应用价值和潜在的商业前景。
📄 摘要（原文）
Machine learning, particularly deep learning, is transforming industrial quality inspection. Yet, training robust machine learning models typically requires large volumes of high-quality labeled data, which are expensive, time-consuming, and labor-intensive to obtain in manufacturing. Moreover, defective samples are intrinsically rare, leading to severe class imbalance that degrades model performance. These data constraints hinder the widespread adoption of machine learning-based quality inspection methods in real production environments. Synthetic data generation (SDG) offers a promising solution by enabling the creation of large, balanced, and fully annotated datasets in an efficient, cost-effective, and scalable manner. This paper presents a hybrid SDG framework that integrates simulation-based rendering, domain randomization, and real background compositing to enable zero-shot learning for computer vision-based industrial part inspection without manual annotation. The SDG pipeline generates 12,960 labeled images in one hour by varying part geometry, lighting, and surface properties, and then compositing synthetic parts onto real image backgrounds. A two-stage architecture utilizing a YOLOv8n backbone for object detection and MobileNetV3-small for quality classification is trained exclusively on synthetic data and evaluated on 300 real industrial parts. The proposed approach achieves an mAP@0.5 of 0.995 for detection, 96% classification accuracy, and 90.1% balanced accuracy. Comparative evaluation against few-shot real-data baseline approaches demonstrates significant improvement. The proposed SDG-based approach achieves 90-91% balanced accuracy under severe class imbalance, while the baselines reach only 50% accuracy. These results demonstrate that the proposed method enables annotation-free, scalable, and robust quality inspection for real-world manufacturing applications.