Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection

📄 arXiv: 2310.19070v3 📥 PDF

作者: Yuanze Li, Haolin Wang, Shihao Yuan, Ming Liu, Debin Zhao, Yiwen Guo, Chen Xu, Guangming Shi, Wangmeng Zuo

分类: cs.CV

发布日期: 2023-10-29 (更新: 2025-01-17)

备注: 8 pages, 7 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出Myriad以解决工业异常检测中的模态差距问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工业异常检测 多模态模型 视觉专家 异常图 模型适配 智能制造 自动化检测

📋 核心要点

  1. 现有的工业异常检测方法需要为每个特定场景训练独立模型，导致效率低下和适应性差。
  2. 本文提出Myriad模型，通过引入视觉专家的指导，利用异常图引导大型多模态模型进行异常检测。
  3. 实验结果显示，Myriad在MVTec-AD、VisA和PCB Bank基准测试中优于现有最先进方法，展现出良好的灵活性和指令跟随能力。

📝 摘要（中文）

由于训练配置的限制，传统的工业异常检测方法需要为每个部署场景训练特定模型，无法满足现代设计和制造的需求。相比之下，大型多模态模型在各种视觉任务上展现出卓越的泛化能力，暗示其在工业异常检测任务中的潜力。然而，尽管这些模型在文本领域拥有丰富的知识，但由于文本与视觉领域之间的模态差距，它们无法有效利用这些知识。为此，本文引入现有的工业异常检测方法作为视觉专家，提出了一种新的大型多模态模型Myriad，通过视觉专家的指导，增强模型对异常区域的关注，从而提升异常检测性能。大量实验表明，该方法在多个基准测试上表现优异，并继承了大型多模态模型的灵活性和指令跟随能力。

🔬 方法详解

问题定义：本文旨在解决传统工业异常检测方法在不同场景下需要训练特定模型的问题，这种方法效率低且难以适应现代制造需求。

核心思路：通过引入现有的工业异常检测方法作为视觉专家，利用其生成的异常图指导大型多模态模型，从而提升模型对异常区域的关注和检测能力。

技术框架：整体架构包括三个主要模块：视觉专家生成异常图、通过适配器调节视觉特征以适应异常检测任务、将视觉特征与语言模型结合生成最终输出。

关键创新：最重要的创新在于将视觉专家的知识有效整合到大型多模态模型中，克服了文本与视觉模态之间的知识利用障碍。

关键设计：在模型设计中，采用适配器对视觉特征进行调节，并结合人类指令与视觉专家的指导，以生成更准确的异常检测结果。具体的损失函数和网络结构设计未详细披露，需进一步查阅原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Myriad在MVTec-AD、VisA和PCB Bank基准测试中均表现优异，超越了现有最先进的方法，具体提升幅度达到XX%（具体数据需查阅原文）。

🎯 应用场景

该研究的潜在应用领域包括制造业、质量控制和自动化检测等，能够有效提升工业异常检测的效率和准确性。未来，Myriad模型可能在更广泛的工业场景中得到应用，推动智能制造的发展。

📄 摘要（原文）

Due to the training configuration, traditional industrial anomaly detection (IAD) methods have to train a specific model for each deployment scenario, which is insufficient to meet the requirements of modern design and manufacturing. On the contrary, large multimodal models~(LMMs) have shown eminent generalization ability on various vision tasks, and their perception and comprehension capabilities imply the potential of applying LMMs on IAD tasks. However, we observe that even though the LMMs have abundant knowledge about industrial anomaly detection in the textual domain, the LMMs are unable to leverage the knowledge due to the modality gap between textual and visual domains. To stimulate the relevant knowledge in LMMs and adapt the LMMs towards anomaly detection tasks, we introduce existing IAD methods as vision experts and present a novel large multimodal model applying vision experts for industrial anomaly detection~(abbreviated to {Myriad}). Specifically, we utilize the anomaly map generated by the vision experts as guidance for LMMs, such that the vision model is guided to pay more attention to anomalous regions. Then, the visual features are modulated via an adapter to fit the anomaly detection tasks, which are fed into the language model together with the vision expert guidance and human instructions to generate the final outputs. Extensive experiments are applied on MVTec-AD, VisA, and PCB Bank benchmarks demonstrate that our proposed method not only performs favorably against state-of-the-art methods, but also inherits the flexibility and instruction-following ability of LMMs in the field of IAD. Source code and pre-trained models are publicly available at \url{https://github.com/tzjtatata/Myriad}.