AnomalyJev: Towards Evaluating Image Anomaly Explanations via Claim-Level Verification
作者: Qizhou Wang, Jiawen Zhu, Guansong Pang, Christopher Leckie
分类: cs.CV, cs.AI, cs.CL
发布日期: 2026-10-20
💡 一句话要点
提出AnomalyJev以解决图像异常解释评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 异常检测 多模态大语言模型 图像解释 可验证声明 评估框架
📋 核心要点
- 现有的基于MLLM的异常检测方法在生成解释时评估困难，尤其是成本高且难以扩展。
- AnomalyJev通过提取可验证的声明并与真实标签进行对比，提供了一种高效的评估框架，避免了令牌生成。
- 在640个解释的评估中，AnomalyJev与人类标注者的评分一致性显著提高，且资源消耗远低于传统方法。
📝 摘要（中文）
近年来，基于多模态大语言模型（MLLM）的异常检测方法能够生成文本解释，帮助理解其预测。然而，可靠且高效地评估这些解释仍然具有挑战性。虽然LLM评估者可以通过结构化标准评估解释，但通常需要大量的令牌生成，导致评估成本高且难以扩展。为此，本文提出了一种轻量级框架AnomalyJev，通过从每个解释中提取可验证的声明并与相应的注释进行验证，将评估锚定在可用的真实标签上。该方法在640个解释的人工标注集上进行评估，尽管设计紧凑，AnomalyJev在与人类标注者的一致性上超越了大多数开放的MLLM评估者，并接近旗舰MLLM评估者的水平，同时运行时间和资源消耗却大幅降低。
🔬 方法详解
问题定义：本文旨在解决现有基于MLLM的异常检测方法在评估生成解释时的高成本和低效率问题。现有方法依赖于大量的令牌生成，导致评估过程复杂且难以扩展。
核心思路：AnomalyJev的核心思路是通过提取可验证的声明，并将其与真实标签进行对比，从而实现高效的评估。这种方法避免了传统评估中对令牌生成的依赖，降低了评估成本。
技术框架：AnomalyJev的整体架构包括三个主要模块：首先，从上下文表示中提取可验证的声明；其次，使用基于真实标签的查询和指针网络头进行验证；最后，根据验证结果对声明的可信度和完整性进行评分。
关键创新：AnomalyJev的最大创新在于其轻量级设计，通过直接与真实标签对比来评估解释的有效性，而不是依赖复杂的令牌生成过程。这使得评估更加高效且易于扩展。
关键设计：在设计中，AnomalyJev采用了基于查询的提取方法，结合指针网络头来实现声明的提取和验证。该方法的参数设置经过精心调整，以确保在不同数据集上的一致性和准确性。具体的损失函数和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
在640个解释的评估中，AnomalyJev与人类标注者的评分一致性达到了显著提升，超越了大多数开放的MLLM评估者，并接近旗舰MLLM评估者的水平，且运行时间和资源消耗仅为其一小部分。
🎯 应用场景
AnomalyJev的潜在应用领域包括医疗影像分析、工业缺陷检测和安全监控等场景。在这些领域中，能够高效、准确地评估异常检测模型的解释性，对于提升模型的可用性和信任度具有重要价值。未来，该方法有望推动更多基于解释的AI应用的发展。
📄 摘要（原文）
Recent multimodal LLM (MLLM)-based anomaly detection (AD) methods can generate textual explanations that help interpret their predictions. However, reliably and efficiently evaluating these explanations remains challenging. While LLM judges can assess explanations through structured rubrics, they often require substantial token generation, making evaluation costly and difficult to scale. We instead propose to anchor evaluation in the available ground truth by extracting verifiable claims from each explanation and verifying them against the corresponding annotations. We instantiate this idea as AnomalyJev, a lightweight framework that extracts verifiable claims from contextualised representations using ground-truth-defined queries and pointer based heads, without token generation. The claims are then verified against the ground truth to score faithfulness and completeness. For evaluation, we construct a human-annotated set of 640 explanations with over 1,600 expert ratings across in-domain and cross-dataset settings. Despite its compact design, AnomalyJev achieves stronger agreement with human annotators than most open MLLM judges and approaches that of flagship MLLM judges, at a fraction of their runtime and resources.