Is In-Domain Training Enough for Fine-Grained Industrial Anomaly Understanding?

📄 arXiv: 2610.12310v1 📥 PDF

作者: Xingwu Zhang, Duanyang Du, Huiling Zhu, Jiayue Dai, Yixiao Liu, Guozhi Liu, Zhihan Zhang, Zijun Long

分类: cs.CV

发布日期: 2026-10-08

备注: 21 pages, 5 figures, 8 tables

💡 一句话要点

提出SiGMA框架以提升工业异常理解的精细化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 工业异常理解 缺陷检测 空间基础框架 多代理协作 性能提升 视觉缺陷专家 可靠性控制

📋 核心要点

  1. 现有的多模态大语言模型在工业异常理解中无法同时实现高效的检测、定位和推理，且领域内训练效果有限。
  2. 论文提出SiGMA框架，通过异构MLLM代理和视觉缺陷专家的协作，提升工业异常理解的精细化能力。
  3. SiGMA在MMAD基准测试中达到85.2%的准确率，显著高于传统方法，且在参数量上保持较低，展示了良好的扩展性。

📝 摘要（中文）

单一的多模态大语言模型（MLLM）在工业异常理解（MM-IAU）中的检测、定位、描述和推理能力上表现不佳。研究表明，仅依靠领域内训练无法弥补这一差距。在广泛采用的MMAD基准上，训练专家在缺陷定位上的准确率最高为75.5%，远低于人类专家的92.3%。不同的MLLM虽然各有优势，但在精细感知上存在共同的弱点，因此仅仅将它们结合并不能解决问题。为此，本文提出了SiGMA，一个空间基础的多代理框架，通过将任务分配给异构的MLLM代理和专门的视觉缺陷专家来提升性能。SiGMA在MMAD上达到了85.2%的平均准确率，超出最强训练专家4.0%，并与人类专家的差距缩小至1.5%。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在工业异常理解中的性能不足，尤其是在检测、定位和推理方面的挑战。现有方法在精细感知上表现不佳，且领域内训练无法有效提升性能。

核心思路：论文提出的SiGMA框架通过将任务分配给不同的MLLM代理和专门的视觉缺陷专家，利用各自的优势来提升整体性能。这种设计旨在通过协作来弥补单一模型的不足。

技术框架：SiGMA框架包括多个主要模块：多模态搜索器提供工业知识和正常参考，缺陷专家负责将查询与参考进行比较并生成校准的异常证据，可靠性控制器根据任务能力和查询证据质量对每个来源进行加权。

关键创新：SiGMA的核心创新在于其多代理协作机制，能够有效整合不同MLLM的优势，克服单一模型在精细感知上的局限。这一设计与现有方法的本质区别在于通过分工合作提升性能，而非简单的模型堆叠。

关键设计：在设计中，SiGMA使用了标签无关的可靠性控制器，通过任务级能力和查询级证据质量来动态调整各个代理的贡献。此外，框架允许新MLLM的加入而无需重新训练，增强了系统的灵活性和扩展性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SiGMA在MMAD基准测试中达到了85.2%的平均准确率，超出最强训练专家4.0%，并与人类专家的差距缩小至1.5%。即使在仅使用三个最多9B参数的代理时，SiGMA也能达到84.4%的准确率，展示了其高效性和灵活性。

🎯 应用场景

该研究的SiGMA框架具有广泛的应用潜力，特别是在工业检测、质量控制和故障诊断等领域。通过提升异常理解的精细化能力，SiGMA能够帮助企业更有效地识别和处理生产过程中的缺陷，从而降低成本和提高产品质量。未来，随着更多多模态模型的加入，SiGMA有望进一步提升其性能和适用性。

📄 摘要（原文）

A single multimodal large language model (MLLM) struggles to excel simultaneously at detection, localization, description, and reasoning in multimodal industrial anomaly understanding (MM-IAU). We show that in-domain training does not close this gap. On MMAD, a widely adopted MM-IAU benchmark, trained specialists reach at most 75.5% accuracy in defect localization, against 92.3% for human experts, and even detect anomalies less accurately than their untrained base model. Meanwhile, different MLLMs offer complementary strengths but share this weakness in fine-grained perception, so combining them alone cannot remove it. We therefore propose SiGMA, a spatially grounded multi-agent framework that divides labor between heterogeneous MLLM agents and a dedicated visual defect expert. A multimodal searcher supplies industrial knowledge and normal references, the defect expert turns query-reference comparison into calibrated anomaly evidence, and a label-free reliability controller weighs each source by task-wise competence and query-level evidence quality. SiGMA reaches 85.2% average accuracy on MMAD, 4.0% above the strongest trained specialist and Gemini-2.5-Pro and within 1.5% of human experts. Even with three agents of at most 9B parameters, it reaches 84.4%, and new MLLMs join without retraining.