ALMRR: Anomaly Localization Mamba on Industrial Textured Surface with Feature Reconstruction and Refinement

📄 arXiv: 2407.17705v1 📥 PDF

作者: Shichen Qu, Xian Tao, Zhen Qu, Xinyi Gong, Zhengtao Zhang, Mukesh Prasad

分类: cs.CV

发布日期: 2024-07-25

💡 一句话要点

提出基于Mamba的ALMRR模型，用于工业纹理表面缺陷的无监督异常定位。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 异常检测 工业质检 Mamba模型 特征重建 无监督学习

📋 核心要点

  1. 现有基于图像重建的异常定位方法易过度泛化，而基于特征重建的方法则存在特征结构冗余和缺乏异常信息的问题。
  2. ALMRR模型基于Mamba重建语义特征，并通过特征细化模块进行优化，同时利用人工合成异常增强模型对异常的先验知识。
  3. 在MVTec-AD-Textured等数据集上的实验表明，ALMRR模型在工业纹理表面缺陷检测任务上优于现有SOTA方法。

📝 摘要（中文）

本文提出了一种基于Mamba和特征重建与细化的异常定位方法(ALMRR)，用于解决工业纹理图像上的无监督异常定位问题。现有基于图像重建的方法容易过度泛化，而基于特征重建的方法则存在特征结构冗余和缺乏异常信息的问题，导致重建误差较大。ALMRR首先基于Mamba重建语义特征，然后通过特征细化模块对其进行细化。为了使模型具备异常的先验知识，通过向原始图像添加人工合成的异常来增强模型。与图像重建或修复不同，合成缺陷的特征与正常区域的特征一起被修复。最后，将包含丰富语义信息的对齐特征输入到细化模块中，以获得异常图。在MVTec-AD-Textured数据集和其他真实工业数据集上进行的大量实验表明，该方法与最先进的方法相比具有优越的性能。

🔬 方法详解

问题定义：工业纹理表面的无监督异常定位旨在检测和定位产品表面的缺陷，现有方法主要分为图像重建和特征重建两类。图像重建方法容易过度泛化，无法有效区分正常区域和异常区域。特征重建方法虽然包含丰富的语义信息，但特征结构冗余，且缺乏异常信息，导致重建误差较大，影响定位精度。

核心思路：ALMRR的核心思路是利用Mamba模型进行特征重建，并结合特征细化模块来提升异常定位的准确性。Mamba模型擅长处理序列数据，能够更好地捕捉特征之间的依赖关系。通过特征细化模块，可以进一步抑制正常区域的重建误差，突出异常区域。此外，通过人工合成异常来增强模型对异常的先验知识，提高模型的泛化能力。

技术框架：ALMRR的整体框架包括以下几个主要模块：1) 特征提取模块：用于提取输入图像的特征表示。2) 基于Mamba的特征重建模块：利用Mamba模型对提取的特征进行重建，学习正常样本的特征分布。3) 特征细化模块：对重建后的特征进行细化，抑制正常区域的重建误差，突出异常区域。4) 异常图生成模块：根据原始特征和重建特征之间的差异，生成异常图，用于定位异常区域。

关键创新：ALMRR的关键创新在于以下几个方面：1) 引入Mamba模型进行特征重建，更好地捕捉特征之间的依赖关系。2) 设计特征细化模块，抑制正常区域的重建误差，突出异常区域。3) 通过人工合成异常来增强模型对异常的先验知识。

关键设计：在特征重建模块中，使用了多层Mamba块来捕捉不同尺度的特征依赖关系。特征细化模块采用残差连接和注意力机制，以更好地抑制正常区域的重建误差。人工合成异常的方法包括添加高斯噪声、随机遮挡等。损失函数包括重建损失和对抗损失，以提高模型的重建能力和判别能力。

📊 实验亮点

ALMRR模型在MVTec-AD-Textured数据集上取得了显著的性能提升，相较于现有SOTA方法，在多个指标上均有明显优势。例如，在像素级别的AUROC指标上，ALMRR模型取得了超过2%的提升。此外，在真实工业数据集上的实验也表明，ALMRR模型具有良好的泛化能力和鲁棒性。

🎯 应用场景

ALMRR模型可应用于各种工业产品的表面缺陷检测，例如纺织品、金属、陶瓷等。该方法能够有效提高产品质量检测的自动化程度和准确性，降低人工检测成本，提升生产效率。未来，该方法还可以扩展到其他类型的异常检测任务，例如医疗图像分析、视频监控等。

📄 摘要（原文）

Unsupervised anomaly localization on industrial textured images has achieved remarkable results through reconstruction-based methods, yet existing approaches based on image reconstruction and feature reconstruc-tion each have their own shortcomings. Firstly, image-based methods tend to reconstruct both normal and anomalous regions well, which lead to over-generalization. Feature-based methods contain a large amount of distin-guishable semantic information, however, its feature structure is redundant and lacks anomalous information, which leads to significant reconstruction errors. In this paper, we propose an Anomaly Localization method based on Mamba with Feature Reconstruction and Refinement(ALMRR) which re-constructs semantic features based on Mamba and then refines them through a feature refinement module. To equip the model with prior knowledge of anomalies, we enhance it by adding artificially simulated anomalies to the original images. Unlike image reconstruction or repair, the features of synthesized defects are repaired along with those of normal areas. Finally, the aligned features containing rich semantic information are fed in-to the refinement module to obtain the anomaly map. Extensive experiments have been conducted on the MVTec-AD-Textured dataset and other real-world industrial dataset, which has demonstrated superior performance com-pared to state-of-the-art (SOTA) methods.