Multimodal Industrial Anomaly Detection by Crossmodal Feature Mapping

📄 arXiv: 2312.04521v2 📥 PDF

作者: Alex Costanzino, Pierluigi Zama Ramirez, Giuseppe Lisanti, Luigi Di Stefano

分类: cs.CV

发布日期: 2023-12-07 (更新: 2024-07-08)

备注: Accepted at CVPR 2024

💡 一句话要点

提出一种基于跨模态特征映射的轻量级工业异常检测框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工业异常检测 多模态学习 跨模态特征映射 点云处理 图像处理 少样本学习 模型剪枝

📋 核心要点

  1. 现有工业异常检测方法通常计算复杂度高，推理速度慢，难以满足实时性要求。
  2. 论文提出跨模态特征映射方法，学习将一种模态的特征映射到另一种模态，通过比较映射特征与实际特征的不一致性来检测异常。
  3. 实验表明，该方法在MVTec 3D-AD数据集上取得了state-of-the-art的性能，同时具有更快的推理速度和更小的内存占用。

📝 摘要（中文）

本文研究了工业多模态异常检测(AD)任务，该任务利用点云和RGB图像来定位异常。我们提出了一种新颖的轻量级快速框架，该框架学习在正常样本上将特征从一种模态映射到另一种模态。在测试时，通过查明观察到的特征和映射的特征之间的不一致来检测异常。大量的实验表明，我们的方法在MVTec 3D-AD数据集上的标准和少样本设置中都实现了最先进的检测和分割性能，同时比以前的多模态AD方法实现了更快的推理速度和更少的内存占用。此外，我们提出了一种层剪枝技术，以提高内存和时间效率，同时略微牺牲性能。

🔬 方法详解

问题定义：工业异常检测旨在识别生产过程中出现的非预期缺陷或偏差。现有的多模态异常检测方法通常计算复杂度较高，需要大量的计算资源，并且推理速度较慢，难以满足工业场景对实时性的要求。此外，对于少样本异常检测，现有方法的性能往往会显著下降。

核心思路：本文的核心思路是学习正常样本中不同模态之间的特征映射关系。具体来说，模型学习如何将一种模态（例如点云）的特征映射到另一种模态（例如RGB图像）的特征空间。在测试阶段，如果观察到的特征与通过映射得到的特征之间存在显著差异，则认为该样本存在异常。这种方法的核心在于利用正常样本的模态一致性来检测异常。

技术框架：该框架主要包含两个阶段：训练阶段和测试阶段。在训练阶段，模型学习一个跨模态特征映射器，该映射器将一种模态的特征作为输入，并预测另一种模态的特征。训练数据仅包含正常样本。在测试阶段，对于给定的样本，首先提取两种模态的特征，然后使用训练好的映射器将一种模态的特征映射到另一种模态的特征空间。最后，计算观察到的特征和映射的特征之间的差异，并根据差异的大小来判断是否存在异常。

关键创新：该论文的关键创新在于提出了一种轻量级且高效的跨模态特征映射方法，用于工业异常检测。与现有方法相比，该方法具有更快的推理速度和更小的内存占用，更适合于工业场景的实时应用。此外，该方法还提出了一种层剪枝技术，可以在略微牺牲性能的情况下进一步提高内存和时间效率。

关键设计：论文使用了编码器-解码器结构来实现跨模态特征映射器。编码器用于提取输入模态的特征，解码器用于生成目标模态的特征。损失函数采用均方误差（MSE），用于衡量预测特征和真实特征之间的差异。此外，论文还提出了一种层剪枝技术，通过移除网络中不重要的层来减少模型的参数量和计算复杂度。具体的剪枝策略未知。

📊 实验亮点

实验结果表明，该方法在MVTec 3D-AD数据集上取得了state-of-the-art的检测和分割性能。与现有方法相比，该方法在标准和少样本设置下均表现出更优的性能，同时具有更快的推理速度和更小的内存占用。此外，层剪枝技术可以在略微牺牲性能的情况下进一步提高内存和时间效率。具体性能提升数据未知。

🎯 应用场景

该研究成果可应用于各种工业制造场景，例如汽车零部件检测、电子产品质量控制、食品生产安全监控等。通过实时检测产品表面的缺陷或异常，可以提高产品质量，降低生产成本，并减少安全风险。该方法还可扩展到其他多模态数据分析任务，例如医疗影像诊断、自动驾驶等。

📄 摘要（原文）

The paper explores the industrial multimodal Anomaly Detection (AD) task, which exploits point clouds and RGB images to localize anomalies. We introduce a novel light and fast framework that learns to map features from one modality to the other on nominal samples. At test time, anomalies are detected by pinpointing inconsistencies between observed and mapped features. Extensive experiments show that our approach achieves state-of-the-art detection and segmentation performance in both the standard and few-shot settings on the MVTec 3D-AD dataset while achieving faster inference and occupying less memory than previous multimodal AD methods. Moreover, we propose a layer-pruning technique to improve memory and time efficiency with a marginal sacrifice in performance.