Real-IAD D3: A Real-World 2D/Pseudo-3D/3D Dataset for Industrial Anomaly Detection

📄 arXiv: 2504.14221v1 📥 PDF

作者: Wenbing Zhu, Lidong Wang, Ziqing Zhou, Chengjie Wang, Yurui Pan, Ruoyi Zhang, Zhuhao Chen, Linjie Cheng, Bin-Bin Gao, Jiangning Zhang, Zhenye Gan, Yuxie Wang, Yulong Chen, Shuguang Qian, Mingmin Chi, Bo Peng, Lizhuang Ma

分类: cs.CV

发布日期: 2025-04-19

备注: 13 pages. Dataset and code: https://realiad4ad.github.io/Real-IAD D3

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

Real-IAD D3：用于工业异常检测的真实世界多模态数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工业异常检测 多模态学习 数据集 RGB-D 点云 光度立体 伪3D

📋 核心要点

  1. 现有工业异常检测数据集在规模、分辨率和模态多样性上存在局限，难以充分模拟真实工业环境。
  2. Real-IAD D3数据集通过引入高分辨率RGB图像、微米级3D点云以及光度立体生成的伪3D模态，提供更全面的信息。
  3. 实验表明，结合RGB、点云和伪3D深度信息能够有效提升检测的鲁棒性和整体性能。

📝 摘要（中文）

工业异常检测(IAD)日益复杂，多模态检测方法已成为机器视觉研究的焦点。然而，专门为IAD量身定制的多模态数据集仍然有限。诸如MVTec 3D等开创性数据集通过整合RGB+3D数据为多模态IAD奠定了基础，但由于规模和分辨率的限制，在弥合与真实工业环境的差距方面仍然面临挑战。为了应对这些挑战，我们推出了Real-IAD D3，这是一个高精度多模态数据集，它独特地结合了通过光度立体生成的伪3D模态，以及高分辨率RGB图像和微米级3D点云。Real-IAD D3在20个类别中具有更精细的缺陷、多样化的异常和更大的规模，为多模态IAD提供了一个具有挑战性的基准。此外，我们还引入了一种有效的方法，该方法集成了RGB、点云和伪3D深度信息，以利用每种模态的互补优势，从而提高检测性能。我们的实验突出了这些模态在提高检测鲁棒性和整体IAD性能方面的重要性。该数据集和代码可在https://realiad4ad.github.io/Real-IAD D3上公开获取，以供研究之用。

🔬 方法详解

问题定义：论文旨在解决工业异常检测中数据集不足的问题，特别是缺乏能够充分代表真实工业环境的多模态数据集。现有数据集在规模、分辨率以及模态的多样性方面存在局限性，导致模型在实际应用中泛化能力不足。MVTec 3D等数据集虽然引入了RGB+3D数据，但仍然难以满足复杂工业场景的需求。

核心思路：论文的核心思路是构建一个更大规模、更高分辨率、包含更多模态信息的工业异常检测数据集，即Real-IAD D3。通过引入伪3D模态（通过光度立体生成），结合高分辨率RGB图像和微米级3D点云，提供更丰富的几何和纹理信息，从而提升异常检测模型的性能和鲁棒性。

技术框架：Real-IAD D3数据集包含以下几个关键组成部分：1) 高分辨率RGB图像：提供产品的外观信息。2) 微米级3D点云：提供精确的几何信息。3) 伪3D深度信息：通过光度立体技术从多张不同光照条件下的图像中重建得到，补充几何信息。论文还提出了一种融合RGB、点云和伪3D深度信息的方法，具体细节未知。

关键创新：该论文的关键创新在于构建了Real-IAD D3数据集，该数据集是首个包含高分辨率RGB图像、微米级3D点云和伪3D深度信息的多模态工业异常检测数据集。伪3D模态的引入是该数据集的独特之处，它能够提供额外的几何信息，有助于检测细微的缺陷。

关键设计：关于数据集构建的具体技术细节，例如光度立体的具体实现方法、点云数据的获取方式、以及RGB图像的分辨率等，论文中没有详细描述。融合RGB、点云和伪3D深度信息的方法的具体网络结构、损失函数等细节也未知。数据集包含20个类别，具有更精细的缺陷、多样化的异常和更大的规模。

📊 实验亮点

Real-IAD D3数据集包含20个类别，具有更精细的缺陷、多样化的异常和更大的规模，为多模态IAD提供了一个具有挑战性的基准。论文提出的方法集成了RGB、点云和伪3D深度信息，实验结果表明，这些模态在提高检测鲁棒性和整体IAD性能方面具有重要作用。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可广泛应用于工业质量检测、智能制造等领域。通过使用Real-IAD D3数据集训练的模型，可以更准确地检测出产品表面的细微缺陷，提高产品质量，降低生产成本。未来，该数据集可以促进多模态融合算法在工业领域的应用，推动工业智能化发展。

📄 摘要（原文）

The increasing complexity of industrial anomaly detection (IAD) has positioned multimodal detection methods as a focal area of machine vision research. However, dedicated multimodal datasets specifically tailored for IAD remain limited. Pioneering datasets like MVTec 3D have laid essential groundwork in multimodal IAD by incorporating RGB+3D data, but still face challenges in bridging the gap with real industrial environments due to limitations in scale and resolution. To address these challenges, we introduce Real-IAD D3, a high-precision multimodal dataset that uniquely incorporates an additional pseudo3D modality generated through photometric stereo, alongside high-resolution RGB images and micrometer-level 3D point clouds. Real-IAD D3 features finer defects, diverse anomalies, and greater scale across 20 categories, providing a challenging benchmark for multimodal IAD Additionally, we introduce an effective approach that integrates RGB, point cloud, and pseudo-3D depth information to leverage the complementary strengths of each modality, enhancing detection performance. Our experiments highlight the importance of these modalities in boosting detection robustness and overall IAD performance. The dataset and code are publicly accessible for research purposes at https://realiad4ad.github.io/Real-IAD D3