Vision Foundation Model Embedding-Based Semantic Anomaly Detection

📄 arXiv: 2505.07998v1 📥 PDF

作者: Max Peter Ronecker, Matthew Foutter, Amine Elhafsi, Daniele Gammelli, Ihor Barakaiev, Marco Pavone, Daniel Watzenig

分类: cs.CV, cs.LG

发布日期: 2025-05-12

备注: Accepted for the Workshop "Safely Leveraging Vision-Language Foundation Models in Robotics: Challenges and Opportunities" at ICRA 2025

💡 一句话要点

提出基于视觉基础模型嵌入的语义异常检测方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语义异常检测 视觉基础模型 实例分割 自主系统 实时检测 鲁棒性 嵌入比较

📋 核心要点

  1. 现有方法在处理语义异常时，缺乏有效的上下文理解，导致系统推理失败。
  2. 论文提出了一种新框架，通过比较运行时图像的视觉嵌入与安全场景数据库，进行语义异常检测。
  3. 实验结果表明，基于实例的方法结合过滤机制，性能与GPT-4o相当，并能精确定位异常。

📝 摘要（中文）

语义异常是指在上下文中无效或不寻常的熟悉视觉元素组合，这可能导致自主系统的行为不确定和失败。本文通过利用先进视觉基础模型的语义先验，探索了语义异常检测。我们提出了一种框架，将运行时图像的局部视觉嵌入与被认为安全和高效的名义场景数据库进行比较。我们考虑了两种变体：一种使用原始网格嵌入，另一种利用实例分割进行对象中心表示。为提高鲁棒性，我们引入了简单的过滤机制以抑制假阳性。我们的评估显示，带过滤的基于实例的方法在CARLA模拟异常上的性能可与GPT-4o相媲美，同时提供精确的异常定位。

🔬 方法详解

问题定义：本文旨在解决自主系统中语义异常检测的问题，现有方法在处理复杂视觉场景时常常无法有效识别异常，导致系统推理失败。

核心思路：通过利用视觉基础模型的语义嵌入，比较运行时图像与安全场景数据库中的嵌入，从而实现对语义异常的检测。该设计旨在提高检测的准确性和鲁棒性。

技术框架：整体框架包括两个主要模块：一是从运行时图像中提取局部视觉嵌入，二是与名义场景数据库中的嵌入进行比较。框架支持两种变体：一种是基于原始网格的嵌入，另一种是基于实例分割的对象中心表示。

关键创新：最重要的创新在于结合了实例分割技术，能够提供更为精确的对象中心表示，从而提高异常检测的准确性和定位能力。与传统方法相比，该方法在处理复杂场景时表现出更高的鲁棒性。

关键设计：在参数设置上，采用了简单的过滤机制以抑制假阳性。此外，损失函数设计考虑了嵌入之间的相似度度量，以确保检测的有效性。

📊 实验亮点

实验结果显示，基于实例的方法结合过滤机制在CARLA模拟异常检测中表现出色，性能与GPT-4o相当，同时实现了精确的异常定位。这表明视觉嵌入在实时异常检测中的潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和智能监控等自主系统。通过实时检测语义异常，可以显著提高系统的安全性和可靠性，减少潜在的故障风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

Semantic anomalies are contextually invalid or unusual combinations of familiar visual elements that can cause undefined behavior and failures in system-level reasoning for autonomous systems. This work explores semantic anomaly detection by leveraging the semantic priors of state-of-the-art vision foundation models, operating directly on the image. We propose a framework that compares local vision embeddings from runtime images to a database of nominal scenarios in which the autonomous system is deemed safe and performant. In this work, we consider two variants of the proposed framework: one using raw grid-based embeddings, and another leveraging instance segmentation for object-centric representations. To further improve robustness, we introduce a simple filtering mechanism to suppress false positives. Our evaluations on CARLA-simulated anomalies show that the instance-based method with filtering achieves performance comparable to GPT-4o, while providing precise anomaly localization. These results highlight the potential utility of vision embeddings from foundation models for real-time anomaly detection in autonomous systems.