Vision Foundation Model Embedding-Based Semantic Anomaly Detection

📄 arXiv: 2505.07998v1 📥 PDF

作者: Max Peter Ronecker, Matthew Foutter, Amine Elhafsi, Daniele Gammelli, Ihor Barakaiev, Marco Pavone, Daniel Watzenig

分类: cs.CV, cs.LG

发布日期: 2025-05-12

备注: Accepted for the Workshop "Safely Leveraging Vision-Language Foundation Models in Robotics: Challenges and Opportunities" at ICRA 2025

💡 一句话要点

提出基于视觉基础模型嵌入的语义异常检测框架，用于提升自动驾驶系统的安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义异常检测 视觉基础模型 自动驾驶 实例分割 异常定位

📋 核心要点

  1. 自动驾驶系统面临语义异常的挑战，现有方法难以有效识别不寻常的视觉元素组合。
  2. 论文提出基于视觉基础模型嵌入的语义异常检测框架，通过比较运行时图像与标称场景的嵌入差异来检测异常。
  3. 实验结果表明，基于实例分割和过滤机制的方法在CARLA模拟环境中取得了与GPT-4o相当的性能，并能精确定位异常。

📝 摘要（中文）

语义异常是指在上下文中无效或不寻常的视觉元素组合，可能导致自动驾驶系统出现未定义的行为和故障。本文探索了利用最先进的视觉基础模型的语义先验知识，直接在图像上进行语义异常检测。我们提出了一个框架，该框架将来自运行时图像的局部视觉嵌入与自动驾驶系统被认为是安全和高性能的标称场景数据库进行比较。本文考虑了所提出框架的两种变体：一种使用原始的基于网格的嵌入，另一种利用实例分割进行以对象为中心的表示。为了进一步提高鲁棒性，我们引入了一种简单的过滤机制来抑制误报。在CARLA模拟异常上的评估表明，带有过滤的基于实例的方法实现了与GPT-4o相当的性能，同时提供了精确的异常定位。这些结果突出了来自基础模型的视觉嵌入在自动驾驶系统中进行实时异常检测的潜在效用。

🔬 方法详解

问题定义：自动驾驶系统在复杂环境中运行时，会遇到各种语义异常，例如不合常理的物体组合或场景。现有的异常检测方法往往依赖于手工设计的特征或需要大量标注数据，难以适应真实世界的多样性。因此，如何利用无监督或自监督的方式，有效地检测语义异常，是本文要解决的核心问题。

核心思路：本文的核心思路是利用预训练的视觉基础模型所学习到的丰富的语义先验知识。这些模型在海量数据上训练，能够捕捉到图像中物体之间的复杂关系。通过提取运行时图像和标称场景的视觉嵌入，并比较它们之间的差异，可以有效地检测出语义异常。这种方法无需大量标注数据，并且能够泛化到新的场景。

技术框架：该框架主要包含以下几个阶段：1) 嵌入提取：使用视觉基础模型（如CLIP）提取运行时图像和标称场景图像的视觉嵌入。可以选择基于网格的嵌入或基于实例分割的嵌入。2) 异常评分：计算运行时图像的嵌入与标称场景嵌入之间的距离（例如，余弦相似度）。距离越大，表示异常的可能性越高。3) 过滤：为了抑制误报，引入一个简单的过滤机制，例如，基于阈值的过滤或基于上下文信息的过滤。4) 异常定位：根据异常评分，定位图像中的异常区域。

关键创新：本文的关键创新在于将视觉基础模型的语义先验知识应用于语义异常检测。与传统的异常检测方法相比，该方法无需手工设计特征，并且能够更好地捕捉到图像中物体之间的复杂关系。此外，本文还提出了两种不同的嵌入方式（基于网格和基于实例分割）以及一种简单的过滤机制，进一步提高了检测性能。

关键设计：在嵌入提取阶段，可以选择不同的视觉基础模型，例如CLIP、DINO等。在异常评分阶段，可以使用不同的距离度量，例如余弦相似度、欧氏距离等。在过滤阶段，可以根据具体应用场景选择合适的阈值或上下文信息。基于实例分割的方法需要选择合适的分割模型，例如Mask R-CNN等。损失函数主要用于训练分割模型，例如交叉熵损失或Dice损失。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，基于实例分割和过滤机制的方法在CARLA模拟环境中取得了与GPT-4o相当的性能，在异常检测精度上表现出色。该方法能够精确定位异常区域，为后续的决策和控制提供可靠的信息。此外，该方法无需大量标注数据，具有较强的泛化能力，可以应用于不同的场景和环境。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、机器人导航、智能监控等领域。通过实时检测语义异常，可以提高系统的安全性和可靠性，避免潜在的事故和故障。例如，在自动驾驶中，可以检测道路上的异常物体或不合常理的交通状况，从而及时采取措施，保障行车安全。在智能监控中，可以检测异常行为或事件，例如非法入侵、火灾等，从而及时发出警报。

📄 摘要（原文）

Semantic anomalies are contextually invalid or unusual combinations of familiar visual elements that can cause undefined behavior and failures in system-level reasoning for autonomous systems. This work explores semantic anomaly detection by leveraging the semantic priors of state-of-the-art vision foundation models, operating directly on the image. We propose a framework that compares local vision embeddings from runtime images to a database of nominal scenarios in which the autonomous system is deemed safe and performant. In this work, we consider two variants of the proposed framework: one using raw grid-based embeddings, and another leveraging instance segmentation for object-centric representations. To further improve robustness, we introduce a simple filtering mechanism to suppress false positives. Our evaluations on CARLA-simulated anomalies show that the instance-based method with filtering achieves performance comparable to GPT-4o, while providing precise anomaly localization. These results highlight the potential utility of vision embeddings from foundation models for real-time anomaly detection in autonomous systems.