BridgeNet: A Unified Multimodal Framework for Bridging 2D and 3D Industrial Anomaly Detection
作者: An Xiang, Zixuan Huang, Xitong Gao, Kejiang Ye, Cheng-zhong Xu
分类: cs.CV
发布日期: 2025-07-25
🔗 代码/项目: GITHUB
💡 一句话要点
BridgeNet：用于桥接2D和3D工业异常检测的统一多模态框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 工业异常检测 多模态学习 深度学习 异常生成 2D-3D桥接
📋 核心要点
- 现有方法难以充分表示多模态场景中的3D信息，限制了3D工业异常检测的性能。
- BridgeNet通过解耦深度和外观信息，并设计统一的异常生成器，有效桥接2D和3D异常检测。
- 实验结果表明，该方法在MVTec-3D AD和Eyecandies数据集上超越了现有最佳方法。
📝 摘要（中文）
针对2D物体的工业异常检测已获得显著关注，并在异常检测（AD）方法中取得了进展。然而，仅使用2D信息识别3D深度异常是不够的。尽管将深度信息显式地融合到RGB图像中，或使用点云骨干网络来提取深度特征，但由于不同模态信息之间的差异，这两种方法都难以充分表示多模态场景中的3D信息。此外，由于工业数据中异常样本的稀缺性，尤其是在多模态场景中，有必要进行异常生成以模拟真实世界的异常样本。因此，我们提出了一种新颖的统一多模态异常检测框架来解决这些问题。我们的贡献包括3个关键方面。(1) 我们简单地从3D点云数据中提取可见深度信息，并使用2D RGB图像来表示外观，从而解耦深度和外观以支持统一的异常生成。(2) 受益于灵活的输入表示，所提出的多尺度高斯异常生成器和统一纹理异常生成器可以在RGB和深度中生成更丰富的异常。(3) 所有模块共享RGB和深度数据的参数，有效地桥接了2D和3D异常检测。后续模块可以直接利用来自两种模态的特征，而无需复杂的融合。实验表明，我们的方法在MVTec-3D AD和Eyecandies数据集上优于最先进（SOTA）的方法。
🔬 方法详解
问题定义：论文旨在解决工业场景中，利用多模态数据（RGB图像和3D点云）进行异常检测的问题。现有方法要么难以有效融合不同模态的信息，要么无法充分利用有限的异常样本进行训练，导致检测精度不高。尤其是在3D异常检测中，仅依赖2D信息往往不足。
核心思路：论文的核心思路是将深度信息从3D点云中解耦出来，与RGB图像分别表示外观和深度信息，从而实现统一的异常生成。通过共享参数的方式，使得模型能够同时学习2D和3D的特征，从而更好地桥接两种模态的信息。
技术框架：BridgeNet框架主要包含以下几个模块：1) 可见深度信息提取模块，从3D点云中提取深度信息；2) 多尺度高斯异常生成器，用于在RGB图像上生成异常；3) 统一纹理异常生成器，用于在深度图像上生成异常；4) 特征提取模块，用于提取RGB和深度图像的特征；5) 异常检测模块，基于提取的特征进行异常判断。所有模块共享参数，以实现2D和3D信息的有效融合。
关键创新：论文的关键创新在于：1) 提出了一种解耦深度和外观信息的表示方法，使得异常生成更加灵活；2) 设计了统一的异常生成器，可以同时生成RGB和深度图像上的异常，从而扩充了异常样本的数量；3) 通过参数共享的方式，实现了2D和3D信息的有效融合，避免了复杂的模态融合操作。
关键设计：在异常生成方面，采用了多尺度高斯噪声和纹理替换等方法，以模拟真实场景中的各种异常。损失函数方面，采用了对抗损失和重构损失等，以提高异常检测的准确率。网络结构方面，采用了共享参数的卷积神经网络，以实现特征的有效提取和融合。具体的参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，BridgeNet在MVTec-3D AD数据集和Eyecandies数据集上均取得了state-of-the-art的性能。相较于现有方法，BridgeNet在AUROC指标上取得了显著提升，验证了其在多模态工业异常检测方面的有效性。具体的性能提升数据需要在论文中查找。
🎯 应用场景
该研究成果可应用于工业制造、质量检测等领域，例如检测产品表面的缺陷、识别装配过程中的错误等。通过结合RGB图像和3D深度信息，可以更准确地识别各种类型的异常，提高生产效率和产品质量。未来，该方法还可以扩展到其他多模态异常检测任务中，例如医学图像分析、自动驾驶等。
📄 摘要（原文）
Industrial anomaly detection for 2D objects has gained significant attention and achieved progress in anomaly detection (AD) methods. However, identifying 3D depth anomalies using only 2D information is insufficient. Despite explicitly fusing depth information into RGB images or using point cloud backbone networks to extract depth features, both approaches struggle to adequately represent 3D information in multimodal scenarios due to the disparities among different modal information. Additionally, due to the scarcity of abnormal samples in industrial data, especially in multimodal scenarios, it is necessary to perform anomaly generation to simulate real-world abnormal samples. Therefore, we propose a novel unified multimodal anomaly detection framework to address these issues. Our contributions consist of 3 key aspects. (1) We extract visible depth information from 3D point cloud data simply and use 2D RGB images to represent appearance, which disentangles depth and appearance to support unified anomaly generation. (2) Benefiting from the flexible input representation, the proposed Multi-Scale Gaussian Anomaly Generator and Unified Texture Anomaly Generator can generate richer anomalies in RGB and depth. (3) All modules share parameters for both RGB and depth data, effectively bridging 2D and 3D anomaly detection. Subsequent modules can directly leverage features from both modalities without complex fusion. Experiments show our method outperforms state-of-the-art (SOTA) on MVTec-3D AD and Eyecandies datasets. Code available at: https://github.com/Xantastic/BridgeNet