SAFe: Segment-guided Aggregation of Feature Densities for Anomaly-aware Segmentation

📄 arXiv: 2609.24204v1 📥 PDF

作者: Anja Delić, Jurica Runtas, Marin Oršić, Ivan Marković, Ivan Petrović

分类: cs.CV

发布日期: 2026-09-21

💡 一句话要点

提出SAFe以解决视觉分割中的异常检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异常检测 视觉分割 自监督学习 密度估计 类条件模型 空间一致性 机器人感知 深度学习

📋 核心要点

  1. 现有视觉分割方法在处理训练分布外的异常物体时，面临特征语义不足和空间一致性差的问题。
  2. SAFe通过类条件密度估计和轻量级归一化流，结合多种特征来提高异常检测的准确性和一致性。
  3. SAFe在PANIC、OoDIS和SMIYC ObstacleTrack等基准测试中表现优异，设定了新的性能标准。

📝 摘要（中文）

视觉分割系统在实际应用中会遇到训练分布之外的物体，这影响了依赖场景解析的自主系统的可靠性。许多近期方法通过自监督基础模型训练密度估计器来应对这一问题，但这些方法在特征语义或空间一致性上存在不足。本文提出SAFe，一种基于类条件密度估计的生成方法，利用轻量级归一化流对冻结的DINOv3特征进行训练，结合变换器特征和多尺度卷积特征的密度估计，以捕捉全局语义和局部细节。我们还引入了一种基于SAM3的后处理步骤，将每个位置的似然性连接成空间一致的分段，同时抑制假阳性，实现实例级异常检测。SAFe在多个基准测试中设定了新的最优性能。

🔬 方法详解

问题定义：本文旨在解决视觉分割系统在实际应用中遇到的异常物体检测问题。现有方法在特征语义和空间一致性方面存在不足，导致无法可靠地进行场景解析。

核心思路：SAFe通过类条件密度估计，利用自监督表示生成异常检测模型。该方法设计轻量级的归一化流，能够在冻结的DINOv3特征上进行训练，从而提高模型的效率和准确性。

技术框架：SAFe的整体架构包括两个主要模块：首先是基于变换器特征和多尺度卷积特征的密度估计，其次是基于SAM3的后处理步骤，将每个位置的似然性整合为空间一致的分段。

关键创新：SAFe的主要创新在于结合了不同特征的密度估计，并通过后处理步骤实现空间一致性，显著提升了异常检测的性能。与现有方法相比，SAFe在处理复杂场景时表现出更强的鲁棒性。

关键设计：在模型设计中，采用了轻量级的归一化流结构，优化了损失函数以增强模型对异常的敏感性，并通过相似性聚类方案进一步区分新类别的异常物体。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在多个基准测试中，SAFe展现出卓越的性能，特别是在PANIC、OoDIS和SMIYC ObstacleTrack上设定了新的最优标准。与传统方法相比，SAFe在异常检测的准确性上提升了显著的性能，具体数据在论文中有详细列出。

🎯 应用场景

SAFe的研究成果在多个实际应用场景中具有重要价值，尤其是在自动驾驶、机器人导航和智能监控等领域。通过提高异常检测的准确性和一致性，SAFe能够增强自主系统在复杂环境中的可靠性，推动智能系统的进一步发展。

📄 摘要（原文）

Visual segmentation systems encounter objects outside their training distribution during real-world deployment, hindering reliable autonomous systems that depend on scene parsing in the perception stage. Many recent methods address this by using self-supervised foundation models to train density estimators that yield low likelihood in anomalous image regions. Although promising, these methods suffer from poor feature semantics or they lack spatial consistency, both of which undermine critical downstream decisions. We address this problem with~\method, a generative method based on class-conditional density estimation over self-supervised representations. SAFe trains lightweight normalizing flows that produce class-conditional normalized likelihood estimates over frozen DINOv3 features. We combine density estimates from transformer features with density scores over multi-scale convolutional features to capture both global semantics and local detail. We introduce a method-agnostic post-processing step based on SAM3 that connects per-location likelihoods into spatially coherent segments while suppressing false positives, and enables instance-level anomaly detection without retraining. The post processing further distinguishes novel categories among anomalous objects by a similarity-based agglomerative clustering scheme. SAFe sets a new state of the art on the PANIC, OoDIS, SMIYC ObstacleTrack with strong performance on the ISSU benchmark.