MCL-AD: Multimodal Collaboration Learning for Zero-Shot 3D Anomaly Detection

📄 arXiv: 2509.10282v1 📥 PDF

作者: Gang Li, Tianjiao Chen, Mingle Zhou, Min Li, Delong Han, Jin Wan

分类: cs.CV, cs.LG

发布日期: 2025-09-12

备注: Page 14, 5 pictures

💡 一句话要点

MCL-AD：提出多模态协同学习框架，用于零样本3D异常检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 3D异常检测 多模态学习 协同学习 点云 RGB图像 文本语义

📋 核心要点

  1. 现有零样本3D异常检测方法主要依赖点云数据，忽略了RGB图像和文本等模态的丰富语义信息。
  2. MCL-AD框架通过多模态协同学习，融合点云、RGB图像和文本语义，提升异常检测的准确性。
  3. 实验结果表明，MCL-AD在零样本3D异常检测任务中取得了state-of-the-art的性能。

📝 摘要（中文）

本文提出了一种名为MCL-AD的新框架，用于零样本3D异常检测。该框架利用点云、RGB图像和文本语义之间的多模态协同学习，以实现卓越的零样本3D异常检测。具体而言，我们提出了一种多模态提示学习机制（MPLM），通过引入与对象无关的解耦文本提示和多模态对比损失，增强了模内表示能力和模间协同学习。此外，还提出了一种协同调制机制（CMM），通过联合调制RGB图像引导和点云引导的分支，充分利用点云和RGB图像的互补表示。大量实验表明，所提出的MCL-AD框架在零样本3D异常检测中实现了最先进的性能。

🔬 方法详解

问题定义：零样本3D异常检测旨在无需标注数据的情况下识别3D对象中的缺陷。现有方法主要依赖点云数据，忽略了RGB图像和文本等其他模态提供的互补语义信息，导致检测性能受限。

核心思路：MCL-AD的核心思路是利用多模态协同学习，将点云、RGB图像和文本语义信息融合起来，从而更全面地理解3D对象，提升异常检测的准确性。通过多模态信息的互补，弥补单一模态的不足。

技术框架：MCL-AD框架主要包含两个关键模块：多模态提示学习机制（MPLM）和协同调制机制（CMM）。MPLM旨在增强模内表示能力和模间协同学习，CMM则充分利用点云和RGB图像的互补表示。整体流程为：首先，通过MPLM学习各模态的特征表示；然后，利用CMM融合点云和RGB图像的特征；最后，基于融合后的特征进行异常检测。

关键创新：MCL-AD的关键创新在于多模态协同学习机制。MPLM通过引入对象无关的解耦文本提示和多模态对比损失，有效提升了模内表示能力和模间协同学习效果。CMM则通过联合调制RGB图像引导和点云引导的分支，充分利用了两种模态的互补信息。

关键设计：MPLM中，解耦文本提示的设计旨在提供与对象无关的先验知识，引导模型学习更通用的特征表示。多模态对比损失则鼓励不同模态之间学习一致的语义表示。CMM中，RGB图像引导和点云引导的分支通过注意力机制进行调制，从而实现特征的有效融合。具体的损失函数设计和网络结构细节未在摘要中详细描述，属于未知信息。

📊 实验亮点

论文提出的MCL-AD框架在零样本3D异常检测任务中取得了state-of-the-art的性能。具体的性能数据、对比基线和提升幅度未在摘要中详细描述，属于未知信息。但摘要强调了该框架相较于现有方法的显著优势。

🎯 应用场景

MCL-AD在制造业质量控制、自动驾驶、医疗诊断等领域具有广泛的应用前景。例如，在制造业中，可以用于检测产品表面的缺陷；在自动驾驶中，可以用于识别道路上的异常物体；在医疗诊断中，可以用于检测医学图像中的病灶。该研究有助于降低人工标注成本，提高异常检测的效率和准确性。

📄 摘要（原文）

Zero-shot 3D (ZS-3D) anomaly detection aims to identify defects in 3D objects without relying on labeled training data, making it especially valuable in scenarios constrained by data scarcity, privacy, or high annotation cost. However, most existing methods focus exclusively on point clouds, neglecting the rich semantic cues available from complementary modalities such as RGB images and texts priors. This paper introduces MCL-AD, a novel framework that leverages multimodal collaboration learning across point clouds, RGB images, and texts semantics to achieve superior zero-shot 3D anomaly detection. Specifically, we propose a Multimodal Prompt Learning Mechanism (MPLM) that enhances the intra-modal representation capability and inter-modal collaborative learning by introducing an object-agnostic decoupled text prompt and a multimodal contrastive loss. In addition, a collaborative modulation mechanism (CMM) is proposed to fully leverage the complementary representations of point clouds and RGB images by jointly modulating the RGB image-guided and point cloud-guided branches. Extensive experiments demonstrate that the proposed MCL-AD framework achieves state-of-the-art performance in ZS-3D anomaly detection.