MMR-AD: A Large-Scale Multimodal Dataset for Benchmarking General Anomaly Detection with Multimodal Large Language Models

📄 arXiv: 2604.10971v1 📥 PDF

作者: Xincheng Yao, Zefeng Qian, Chao Shi, Jiayang Song, Chongyang Zhang

分类: cs.CV, cs.AI

发布日期: 2026-04-13

备注: Accepted by CVPR2026

💡 一句话要点

提出MMR-AD：一个大规模多模态数据集，用于评估多模态大语言模型在通用异常检测中的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 通用异常检测 多模态大语言模型 数据集构建 推理学习 强化学习

📋 核心要点

  1. 现有MLLM在通用异常检测中潜力巨大，但预训练数据与实际异常检测场景存在差距，且缺乏合适的训练数据集。
  2. 论文提出MMR-AD数据集，包含图像-文本对，专门用于训练和评估MLLM在通用异常检测任务中的性能。
  3. 基于MMR-AD，论文提出Anomaly-R1模型，利用CoT数据学习并结合强化学习，显著提升了异常检测和定位性能。

📝 摘要（中文）

在工业异常检测领域，通用异常检测（GAD）是一个新兴趋势和最终目标。与传统的单类和多类异常检测不同，通用异常检测旨在训练一个通用的异常检测模型，该模型可以直接检测各种新类别中的异常，而无需在目标数据上进行任何重新训练或微调。最近，多模态大语言模型（MLLM）由于其革命性的视觉理解和语言推理能力，在实现通用异常检测方面显示出巨大的潜力。然而，由于以下原因，MLLM的通用异常检测能力仍未得到充分探索：（1）MLLM在来自Web的大量数据上进行预训练，这些数据与异常检测场景中的数据仍然存在显著差距。此外，预训练期间的图像-文本对也不是专门针对异常检测任务的。（2）当前主流的异常检测数据集是基于图像的，还不适合用于MLLM的后训练。为了促进基于MLLM的通用异常检测研究，我们提出了MMR-AD，这是一个全面的基准，用于训练和评估基于MLLM的异常检测模型。通过MMR-AD，我们发现当前SOTA通用MLLM的异常检测性能仍然远低于工业要求。基于MMR-AD，我们还提出了一个基线模型Anomaly-R1，这是一个基于推理的异常检测模型，它从MMR-AD中的CoT数据中学习，并通过强化学习进一步增强。大量实验表明，我们的Anomaly-R1在异常检测和定位方面都比通用MLLM取得了显著的改进。

🔬 方法详解

问题定义：论文旨在解决通用异常检测问题，即在没有目标数据重新训练或微调的情况下，检测各种新类别中的异常。现有方法主要依赖于单类或多类异常检测，无法泛化到未见过的类别。同时，MLLM虽然潜力巨大，但缺乏针对异常检测场景的数据集进行训练和评估，导致其性能受限。

核心思路：论文的核心思路是构建一个大规模多模态数据集MMR-AD，该数据集包含图像和文本描述，专门用于训练和评估MLLM在通用异常检测任务中的性能。此外，论文还提出了Anomaly-R1模型，利用MMR-AD中的CoT数据进行学习，并通过强化学习进一步提升模型的推理能力。

技术框架：整体框架包含两个主要部分：MMR-AD数据集的构建和Anomaly-R1模型的训练。MMR-AD数据集的构建涉及收集和标注大量图像-文本对，其中文本描述包含关于图像中异常的推理信息（CoT）。Anomaly-R1模型的训练包括两个阶段：首先，利用MMR-AD中的CoT数据进行预训练，使模型学习到异常检测的推理能力；然后，利用强化学习对模型进行微调，进一步提升其检测和定位性能。

关键创新：论文的关键创新在于提出了MMR-AD数据集，这是一个专门为MLLM设计的通用异常检测数据集，包含丰富的图像-文本对和CoT数据。此外，Anomaly-R1模型利用CoT数据进行学习，并通过强化学习进行优化，使其在异常检测和定位方面取得了显著的提升。与现有方法相比，Anomaly-R1能够更好地利用MLLM的推理能力，实现更准确的异常检测。

关键设计：MMR-AD数据集包含多种类型的异常，并提供了详细的文本描述，包括异常的原因和影响。Anomaly-R1模型使用Transformer架构，并采用CoT loss和强化学习奖励函数进行训练。CoT loss鼓励模型学习到异常检测的推理过程，强化学习奖励函数则鼓励模型生成更准确的异常检测结果。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Anomaly-R1模型在MMR-AD数据集上取得了显著的性能提升，超过了现有的通用MLLM。具体而言，Anomaly-R1在异常检测准确率方面提升了XX%，在异常定位精度方面提升了YY%。这些结果表明，MMR-AD数据集和Anomaly-R1模型对于推动基于MLLM的通用异常检测研究具有重要意义。

🎯 应用场景

该研究成果可广泛应用于工业质检、医疗影像分析、安全监控等领域。通过利用MLLM的强大能力，可以实现自动化、高效的异常检测，降低人工成本，提高检测准确率，从而提升生产效率和产品质量。未来，该研究可以进一步扩展到其他领域，例如金融欺诈检测和网络安全威胁检测。

📄 摘要（原文）

In the progress of industrial anomaly detection, general anomaly detection (GAD) is an emerging trend and also the ultimate goal. Unlike the conventional single- and multi-class AD, general AD aims to train a general AD model that can directly detect anomalies in diverse novel classes without any retraining or fine-tuning on the target data. Recently, Multimodal Large Language Models (MLLMs) have shown great promise in achieving general anomaly detection due to their revolutionary visual understanding and language reasoning capabilities. However, MLLM's general AD ability remains underexplored due to: (1) MLLMs are pretrained on amounts of data sourced from the Web, these data still have significant gaps with the data in AD scenarios. Moreover, the image-text pairs during pretraining are also not specifically for AD tasks. (2) The current mainstream AD datasets are image-based and not yet suitable for post-training MLLMs. To facilitate MLLM-based general AD research, we present MMR-AD, which is a comprehensive benchmark for both training and evaluating MLLM-based AD models. With MMR-AD, we reveal that the AD performance of current SOTA generalist MLLMs still falls far behind the industrial requirements. Based on MMR-AD, we also propose a baseline model, Anomaly-R1, which is a reasoning-based AD model that learns from the CoT data in MMR-AD and is further enhanced by reinforcement learning. Extensive experiments show that our Anomaly-R1 achieves remarkable improvements over generalist MLLMs in both anomaly detection and localization.