Prior Availability in Industrial Visual Sim-to-Real: A Review of CAD-Guided and CAD-Unavailable Regimes

📄 arXiv: 2605.30581v1 📥 PDF

作者: Chenxi Tao, Seung-Kyum Choi

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-05-28

备注: Review article; 103 references; 9 main figures; empirical anchors on T-LESS/BOP, MVTec AD, and VisA

💡 一句话要点

重构工业视觉Sim-to-Real：基于先验可得性的CAD引导与非CAD引导方法综述

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 工业视觉 Sim-to-Real 领域自适应 CAD模型 缺陷检测 姿态估计 迁移学习

📋 核心要点

  1. 现有工业视觉Sim-to-Real方法在不同传感器、光照等条件下泛化能力不足，缺乏统一的理论框架。
  2. 论文提出基于先验可得性的分类框架，将工业视觉Sim-to-Real问题分解为CAD可得、CAD不可得和边界先验三种设置。
  3. 通过在T-LESS/BOP、MVTec AD和VisA数据集上的实验，验证了该框架的有效性，并强调了源分布设计和真实数据校准的重要性。

📝 摘要（中文）

工业视觉Sim-to-Real通常被描述为从合成图像到真实图像的迁移，但工业部署通常涉及可用证据与所需决策之间更广泛的不匹配。系统可能基于CAD渲染、模拟RGB-D观测、标准参考图像、合成缺陷、预训练特征空间或语言提示构建，但部署在不同的传感器、光照、材料、夹具、校准、生产变化和罕见缺陷模式下。本文将工业视觉Sim-to-Real重新定义为一个由先验可得性组织的领域差距问题。我们区分了CAD可得设置（其中显式对象几何体可以支持渲染、校准、姿态估计、分割和测试时几何验证）；CAD不可得设置（其中几何体被标准参考外观、特征分布、师生残差、合成异常假设、基础特征或视觉-语言先验所取代）；以及边界先验设置（其中近似模型、模板、参考视图或语义对应关系仅保留CAD角色的部分）。这种框架将基于CAD的检测和6D姿态估计文献与通常单独回顾的工业异常和表面检测文献联系起来。为了使分类法具体化，我们使用了T-LESS/BOP、MVTec AD和VisA上的经验锚点。这些锚点表明，仅CAD渲染计数并不能闭合迁移；源分布设计、检测器容量和小型真实校准可能更重要。它们还表明，测试时的CAD通过掩码、姿态和深度一致性创建了一个独特的验证通道，而CAD不可得的检测依赖于校准的常态和特征偏差。因此，本文反对单一的跨任务排行榜，而是询问什么先验支持部署决策。

🔬 方法详解

问题定义：工业视觉Sim-to-Real旨在利用合成数据训练模型，并将其应用于真实工业场景。然而，真实场景与合成环境存在显著差异，例如光照、材质、传感器噪声等，导致模型性能下降。现有方法通常针对特定任务或数据集，缺乏通用的理论框架，难以应对复杂的工业环境。

核心思路：论文的核心思路是将工业视觉Sim-to-Real问题重新定义为基于先验可得性的领域差距问题。根据CAD模型的可获得程度，将问题划分为CAD可得、CAD不可得和边界先验三种设置。这种分类方式能够更好地理解不同场景下的领域差距，并选择合适的迁移学习策略。

技术框架：论文构建了一个基于先验可得性的工业视觉Sim-to-Real框架。该框架首先根据CAD模型的可获得程度对场景进行分类。然后，针对不同的场景，选择合适的迁移学习方法。例如，在CAD可得场景下，可以利用CAD模型进行渲染、校准和姿态估计；在CAD不可得场景下，可以利用标准参考图像、特征分布或视觉-语言先验进行迁移学习。最后，通过实验验证不同方法在不同场景下的性能。

关键创新：论文的主要创新在于提出了基于先验可得性的工业视觉Sim-to-Real分类框架。该框架能够将不同类型的工业场景统一起来，并为选择合适的迁移学习策略提供指导。此外，论文还强调了源分布设计和真实数据校准的重要性，并指出仅依靠CAD渲染数量无法实现有效的Sim-to-Real迁移。

关键设计：论文通过在T-LESS/BOP、MVTec AD和VisA数据集上进行实验，验证了该框架的有效性。实验结果表明，在CAD可得场景下，利用CAD模型进行几何验证可以显著提高模型性能；在CAD不可得场景下，利用标准参考图像和特征偏差可以有效检测工业缺陷。此外，实验还表明，源分布设计和真实数据校准对Sim-to-Real迁移至关重要。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在T-LESS/BOP数据集上验证了CAD模型在姿态估计中的作用，表明测试时CAD信息能够显著提升验证效果。在MVTec AD和VisA数据集上，实验结果表明，即使没有CAD模型，通过校准的常态和特征偏差分析，也能有效进行缺陷检测。研究强调了源数据分布设计和少量真实数据校准的重要性。

🎯 应用场景

该研究成果可应用于工业自动化、质量检测、机器人视觉等领域。通过利用合成数据和少量真实数据，可以降低模型训练成本，提高模型在复杂工业环境中的泛化能力。该框架有助于开发更智能、更可靠的工业视觉系统，提高生产效率和产品质量。

📄 摘要（原文）

Industrial visual sim-to-real is often described as transferring from synthetic images to real images, but industrial deployment usually involves a broader mismatch between available evidence and required decisions. A system may be built from CAD renderings, simulated RGB-D observations, normal reference images, synthetic defects, pretrained feature spaces, or language prompts, yet deployed under different sensors, lighting, materials, fixtures, calibration, production variation, and rare defect modes. This review reframes industrial visual sim-to-real as a domain-gap problem organized by prior availability. We distinguish CAD-available settings, where explicit object geometry can support rendering, calibration, pose estimation, segmentation, and test-time geometric verification; CAD-unavailable settings, where geometry is replaced by normal-reference appearance, feature distributions, teacher-student residuals, synthetic anomaly assumptions, foundation features, or vision-language priors; and boundary-prior settings, where approximate models, templates, reference views, or semantic correspondences preserve only part of the CAD role. This framing connects CAD-based detection and 6D pose-estimation literature with industrial anomaly and surface-inspection literature that is usually reviewed separately. To make the taxonomy concrete, we use empirical anchors on T-LESS/BOP, MVTec AD, and VisA. The anchors show that CAD render count alone does not close transfer; source-distribution design, detector capacity, and small real calibration can matter more. They also show that CAD at test time creates a distinct verification channel through mask, pose, and depth consistency, whereas CAD-unavailable inspection relies on calibrated normality and feature deviation. The review therefore argues against a single cross-task leaderboard and instead asks what prior grounds the deployment decision.