FlowCLAS: Enhancing Normalizing Flow Via Contrastive Learning For Anomaly Segmentation

📄 arXiv: 2411.19888v1 📥 PDF

作者: Chang Won Lee, Selina Leveugle, Svetlana Stolpner, Chris Langley, Paul Grouchy, Jonathan Kelly, Steven L. Waslander

分类: cs.CV, cs.LG

发布日期: 2024-11-29

💡 一句话要点

FlowCLAS：利用对比学习增强归一化流，用于异常分割

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异常分割 归一化流 对比学习 自监督学习 视觉基础模型

📋 核心要点

  1. 现有异常分割方法依赖大量标注数据，限制了其在无监督场景下的应用，尤其是在颜色和类别受限的场景。
  2. FlowCLAS利用视觉基础模型提取特征，通过归一化流学习密度分布，并结合对比学习增强判别能力。
  3. FlowCLAS在空间机器人和自动驾驶数据集上均表现出色，无需内点分割标签即可达到SOTA性能。

📝 摘要（中文）

异常分割是一项重要的计算机视觉任务，对于需要感知意外事件的安全关键型应用至关重要。目前最先进的场景级异常分割方法依赖于训练期间的多样化内点类别标签，限制了它们利用大量未标记数据集和预训练视觉编码器的能力。这些方法在颜色多样性降低和对象类别有限的领域中可能表现不佳。相反，现有的无监督方法难以应对具有多样化场景的、限制较少的领域的异常分割。为了解决这些挑战，我们引入了FlowCLAS，这是一种新颖的自监督框架，它利用视觉基础模型提取丰富的特征，并采用归一化流网络来学习它们的密度分布。我们通过在潜在空间中结合异常值暴露和对比学习来增强模型的判别能力。FlowCLAS在空间机器人ALLO异常分割基准测试中显著优于所有现有方法，并在包括Fishyscapes Lost&Found和Road Anomaly在内的多个自动驾驶道路异常分割基准测试中表现出具有竞争力的结果。这些结果突出了FlowCLAS在解决空间异常分割的独特挑战方面的有效性，同时在不依赖内点分割标签的情况下，保持了自动驾驶领域的SOTA性能。

🔬 方法详解

问题定义：论文旨在解决现有异常分割方法对标注数据依赖性强的问题，尤其是在颜色多样性和对象类别有限的场景下，现有方法难以有效利用无标签数据和预训练模型。此外，无监督方法在复杂场景下的异常分割效果不佳。

核心思路：论文的核心思路是利用自监督学习框架FlowCLAS，结合视觉基础模型提取的丰富特征和归一化流学习的密度分布，并通过对比学习增强模型的判别能力。这种方法旨在减少对标注数据的依赖，提高模型在复杂场景下的泛化能力。

技术框架：FlowCLAS的整体框架包括以下几个主要模块：1) 利用视觉基础模型（如预训练的ResNet或ViT）提取输入图像的特征；2) 使用归一化流网络学习提取特征的密度分布，从而对正常样本进行建模；3) 引入Outlier Exposure策略，将异常样本暴露给模型，提高模型对异常的敏感度；4) 在潜在空间中应用对比学习，拉近正常样本的距离，推远异常样本的距离，增强模型的判别能力。

关键创新：FlowCLAS的关键创新在于将归一化流与对比学习相结合，用于异常分割。通过归一化流学习正常样本的密度分布，可以有效地检测偏离分布的异常样本。而对比学习则进一步增强了模型对正常和异常样本的区分能力，提高了分割精度。此外，利用视觉基础模型提取特征，可以有效地利用预训练模型的知识，提高模型的泛化能力。

关键设计：FlowCLAS的关键设计包括：1) 归一化流网络的选择，可以使用不同的流模型，如RealNVP或Glow；2) 对比学习损失函数的选择，可以使用InfoNCE损失或其他对比损失函数；3) Outlier Exposure策略的具体实现，可以选择不同的异常样本生成方法；4) 视觉基础模型的选择和微调策略，可以使用不同的预训练模型，并根据具体任务进行微调。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FlowCLAS在ALLO空间机器人异常分割基准测试中显著优于所有现有方法，并在Fishyscapes Lost&Found和Road Anomaly等自动驾驶道路异常分割基准测试中表现出具有竞争力的结果。这些结果表明，FlowCLAS在解决空间异常分割的独特挑战方面非常有效，同时在不依赖内点分割标签的情况下，保持了自动驾驶领域的SOTA性能。

🎯 应用场景

FlowCLAS在安全关键型应用中具有广泛的应用前景，例如空间机器人、自动驾驶、工业缺陷检测、医疗图像分析等。该方法能够有效检测异常事件，提高系统的安全性和可靠性。未来，FlowCLAS可以进一步扩展到其他领域，例如视频异常检测、网络安全等。

📄 摘要（原文）

Anomaly segmentation is a valuable computer vision task for safety-critical applications that need to be aware of unexpected events. Current state-of-the-art (SOTA) scene-level anomaly segmentation approaches rely on diverse inlier class labels during training, limiting their ability to leverage vast unlabeled datasets and pre-trained vision encoders. These methods may underperform in domains with reduced color diversity and limited object classes. Conversely, existing unsupervised methods struggle with anomaly segmentation with the diverse scenes of less restricted domains. To address these challenges, we introduce FlowCLAS, a novel self-supervised framework that utilizes vision foundation models to extract rich features and employs a normalizing flow network to learn their density distribution. We enhance the model's discriminative power by incorporating Outlier Exposure and contrastive learning in the latent space. FlowCLAS significantly outperforms all existing methods on the ALLO anomaly segmentation benchmark for space robotics and demonstrates competitive results on multiple road anomaly segmentation benchmarks for autonomous driving, including Fishyscapes Lost&Found and Road Anomaly. These results highlight FlowCLAS's effectiveness in addressing the unique challenges of space anomaly segmentation while retaining SOTA performance in the autonomous driving domain without reliance on inlier segmentation labels.