Semantically-Guided Domain Randomization for Industrial Object Detection in Low-Image-Budget Regimes

📄 arXiv: 2609.26505v1 📥 PDF

作者: Jose Moises Araya-Martinez, Gautham Mohan, Jens Lambrecht

分类: cs.CV

发布日期: 2026-09-22

💡 一句话要点

提出语义引导的领域随机化以解决低图像预算下的工业物体检测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 领域随机化 合成数据生成 视觉-语言模型 物体检测 汽车制造 无标注学习

📋 核心要点

  1. 现有的合成数据生成方法通常需要大量图像，难以满足高混合、低量制造环境的严格预算要求。
  2. 本文提出的S-GDR方法通过结合语义标注和背景合成，能够在仅有少量真实图像的情况下生成有效的合成数据。
  3. 在实验中，S-GDR在200张合成训练图像的预算下，达到了0.739的mAP50-95，显著优于其他对比方法。

📝 摘要（中文）

在高混合、低量（HMLV）汽车制造中，视觉感知管道的再训练必须在严格的标注、能量和时间预算下进行，而大多数合成数据生成（SDG）策略仍需数千张图像。本文评估了一种无标注适应管道——语义引导的领域随机化（S-GDR），该方法结合了基于视觉-语言模型（VLM）的语义标注和扩散基础的背景合成（由ControlNet和IP-Adapter条件化的Stable Diffusion XL）以及基于掩膜的物体组合。在汽车多物体检测基准上，S-GDR在固定的200张合成训练图像预算下，在真实的保留测试集上达到了mAP50-95 = 0.739，超越了领域随机化渲染基线（mAP50-95 = 0.697）以及亮度过滤、感知哈希、CycleGAN风格迁移和共享相同200图像预算的无引导扩散变体。这些初步观察使得S-GDR成为极端数据稀缺环境下有前景的无标注替代方案。

🔬 方法详解

问题定义：本文旨在解决在高混合、低量（HMLV）汽车制造中，合成数据生成方法对图像数量的高需求问题。现有方法在标注、能量和时间预算上存在显著限制。

核心思路：S-GDR通过结合视觉-语言模型生成的语义标注与扩散基础的背景合成，提供了一种无标注的适应管道，旨在减少对大量标注数据的依赖。

技术框架：该方法的整体架构包括三个主要模块：首先，使用VLM对少量真实图像进行语义标注；其次，利用Stable Diffusion XL生成背景；最后，通过掩膜技术合成目标物体。

关键创新：S-GDR的创新之处在于其无标注的适应能力，结合了语义信息与背景合成，显著提高了在数据稀缺情况下的物体检测性能。与传统的领域随机化方法相比，S-GDR在合成数据生成的效率和效果上都有所提升。

关键设计：在设计中，S-GDR使用了200张合成图像的固定预算，采用了特定的损失函数以优化生成的合成数据质量，并通过控制网络和适配器来增强背景合成的效果。具体的网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，S-GDR在仅使用200张合成训练图像的情况下，达到了0.739的mAP50-95，超越了领域随机化渲染基线的0.697，显示出显著的性能提升。这一结果表明，S-GDR在极端数据稀缺环境下具有良好的应用前景。

🎯 应用场景

该研究的潜在应用领域包括汽车制造、机器人视觉和其他需要高效物体检测的工业场景。通过减少对大量标注数据的需求，S-GDR能够加速产品开发周期，降低成本，并提高生产效率。未来，该方法可能在更多数据稀缺的领域得到应用，推动智能制造的发展。

📄 摘要（原文）

Retraining visual perception pipelines in High-Mix, Low-Volume (HMLV) automotive manufacturing must be carried out under tight annotation, energy, and time budgets, yet most Synthetic Data Generation (SDG) strategies still operate in the thousands of images. This work evaluates Semantically-Guided Domain Randomization (S-GDR), an annotation-free adaptation pipeline that couples Vision-Language Model (VLM)-based semantic captioning of a small unannotated real reference set with diffusion-based background synthesis (Stable Diffusion XL (SDXL) conditioned by ControlNet and IP-Adapter) and mask-based object composition. On an automotive multi-object detection benchmark and with a fixed budget of 200 synthetic training images, S-GDR reaches mAP50-95 = 0.739 on a real held-out test set, outperforming a domain-randomized render baseline (mAP50-95 = 0.697) as well as brightness filtering, perceptual hashing, CycleGAN style transfer, and unguided diffusion variants sharing the same 200-image budget. These initial observations position S-GDR as a promising annotation- free alternative for extreme data-scarcity regimes.