When Point Clouds Outperform Pixels: Rethinking Zero-Shot Multimodal Anomaly Detection
作者: Chenglin Ye, Lupeng Liu, Dongbo Yu, Jun Xiao, Yunbiao Wang
分类: cs.CV
发布日期: 2026-09-22
💡 一句话要点
提出WOOPS框架以解决零-shot多模态异常检测中的模态可靠性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 零-shot学习 多模态异常检测 点云处理 模态可靠性 信息解耦 深度学习
📋 核心要点
- 现有的零-shot多模态异常检测方法假设RGB和点云模态的可靠性相同，导致异常定位效果不佳。
- 论文提出WOOPS框架，通过多视角信息解耦和模态可靠性校准模块，增强点云模态的贡献。
- 实验结果显示，WOOPS在新指标下的单模态和多模态设置中均取得了最佳或竞争力的性能，验证了方法的有效性。
📝 摘要（中文）
零-shot多模态异常检测通常假设RGB和点云模态具有相同的可靠性并能均匀贡献于异常定位。我们挑战这一假设，通过一组严格的指标发现，在零-shot类别转移下，点云比RGB更可靠。基于此，我们提出了WOOPS（When Point Clouds Outperform Pixels），一个关注模态可靠性的零-shot多模态异常检测框架。我们设计了多视角信息解耦模块以增强点云特征质量，并引入模态可靠性校准模块以根据模态的可靠性自适应调整其贡献。大量实验表明，我们的方法在新指标下在单模态和多模态设置中均表现出最佳或竞争力的性能。
🔬 方法详解
问题定义：本论文旨在解决零-shot多模态异常检测中对RGB和点云模态可靠性假设的不足。现有方法未能充分考虑模态间的可靠性差异，导致异常检测性能下降。
核心思路：我们提出WOOPS框架，强调点云模态的可靠性，通过设计多视角信息解耦模块和模态可靠性校准模块，增强点云特征并自适应调整模态贡献。
技术框架：WOOPS框架主要包括两个模块：多视角信息解耦模块用于抑制来自多视角点云投影的异质信息，提升点云特征质量；模态可靠性校准模块根据模态的可靠性动态调整其在异常检测中的贡献。
关键创新：本研究的创新点在于提出了模态可靠性校准机制，显著提高了点云模态在异常检测中的作用，区别于传统方法的均匀融合策略。
关键设计：在多视角信息解耦模块中，采用了特定的损失函数以抑制噪声信息；模态可靠性校准模块则通过计算模态的历史表现来动态调整权重，确保更可靠模态的优先级。
🖼️ 关键图片
📊 实验亮点
实验结果表明，WOOPS在新提出的严格指标下，单模态和多模态设置中均表现出最佳或竞争力的性能。与基线方法相比，点云信息的引入显著提升了RGB-only推理的效果，验证了多视角信息解耦和模态可靠性校准模块的有效性。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在工业监控、智能交通和安全监测等领域。通过提高异常检测的准确性，WOOPS框架能够有效降低误报率，提升系统的安全性和可靠性。未来，该方法还可扩展到其他多模态学习任务中，推动相关领域的发展。
📄 摘要（原文）
Zero-shot multimodal anomaly detection commonly assumes that RGB and point cloud modalities are equally reliable and can contribute uniformly to anomaly localization. We challenge this assumption. Using a set of recently proposed stringent metrics that penalize false anomaly responses in normal regions, we find that point clouds are substantially more reliable than RGB under zero-shot category shift. Motivated by this observation, we propose WOOPS (\textbf{W}hen P\textbf{o}int Cl\textbf{o}uds Out\textbf{p}erform Pixel\textbf{s}), a reliability-aware zero-shot multimodal anomaly detection framework. To strengthen the more reliable geometric modality, we design a Multi-view Information Decoupling module to suppress heterogeneous information from multi-view point cloud projections and enhance point cloud feature quality. To avoid unconditional fusion, we further introduce a Modality Reliability Calibration module to adaptively calibrate modality contributions according to their reliability. Extensive experiments show that our method achieves the best or competitive performance under the new metrics in both unimodal and multimodal settings. Further analysis demonstrates that point cloud information also improves RGB-only inference, while ablations verify the effectiveness of both modules. Code will be released upon acceptance.