Towards a Multi-Agent Vision-Language System for Zero-Shot Novel Hazardous Object Detection for Autonomous Driving Safety

📄 arXiv: 2504.13399v1 📥 PDF

作者: Shashank Shriram, Srinivasa Perisetla, Aryan Keskar, Harsha Krishnaswamy, Tonko Emil Westerhof Bossen, Andreas Møgelmose, Ross Greer

分类: cs.CV, cs.AI

发布日期: 2025-04-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种多智能体视觉-语言系统，用于自动驾驶中零样本新颖危险物体检测。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 危险物体检测 视觉-语言模型 零样本学习 多模态融合

📋 核心要点

  1. 现有自动驾驶模型依赖预定义类别，难以检测到未知的、类别外的危险物体。
  2. 提出一种结合视觉-语言模型和大型语言模型的多模态方法，用于零样本危险物体检测和解释。
  3. 通过扩展COOOL数据集并使用余弦相似度进行评估，验证了该方法在危险检测和标注方面的有效性。

📝 摘要（中文）

本文提出了一种多模态方法，集成了视觉-语言推理和零样本物体检测，以提高自动驾驶中危险识别和解释能力，解决现有模型难以识别未定义危险物体的问题。该方法利用视觉-语言模型(VLM)和大语言模型(LLM)来检测交通场景中的危险物体，并结合OpenAI的CLIP模型来匹配预测的危险和边界框标注，从而提高定位精度。为了评估模型性能，作者通过去噪和扩展COOOL异常检测基准数据集，创建了一个包含完整自然语言描述的危险标注数据集。使用余弦相似度评估危险检测和标注，考虑预测的危险描述与标注的真实值之间的语义相似性。此外，还发布了一套用于构建和管理大规模危险检测数据集的工具。研究结果突出了当前基于视觉-语言的方法的优势和局限性，为未来自动驾驶危险检测系统的改进提供了见解。

🔬 方法详解

问题定义：自动驾驶中，检测视觉数据（特别是视频流）中的异常危险是一项关键挑战。现有模型依赖于预定义的物体类别，因此难以处理不可预测的、类别外的危险情况。这些模型无法泛化到训练数据中未见过的危险物体，导致安全隐患。

核心思路：论文的核心思路是利用视觉-语言模型的强大推理能力，结合零样本物体检测，从而实现对未知危险物体的识别和解释。通过将视觉信息和自然语言描述相结合，模型可以理解危险的语义信息，而不仅仅是识别预定义的物体类别。

技术框架：该方法包含以下主要模块：1) 视觉-语言模型(VLM)：用于提取图像中的视觉特征，并将其与文本描述进行关联。2) 大语言模型(LLM)：用于生成对检测到的危险物体的自然语言描述。3) CLIP模型：用于将预测的危险描述与边界框标注进行匹配，从而提高定位精度。整体流程是：首先，VLM检测图像中的潜在危险区域；然后，LLM生成对这些区域的描述；最后，CLIP模型将描述与边界框进行匹配，输出最终的危险物体检测结果。

关键创新：最重要的技术创新点在于将视觉-语言推理与零样本物体检测相结合，从而实现了对未知危险物体的检测和解释。与传统的基于预定义类别的物体检测方法不同，该方法不需要对所有可能的危险物体进行标注，因此具有更强的泛化能力。

关键设计：论文使用OpenAI的CLIP模型来提高定位精度。CLIP模型通过对比学习，将图像和文本嵌入到同一个语义空间中。通过计算预测的危险描述和边界框标注之间的余弦相似度，可以找到最匹配的边界框，从而提高定位精度。此外，论文还创建了一个新的数据集，用于评估模型的性能。该数据集包含完整的自然语言描述，可以更全面地评估模型的危险检测和解释能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文通过扩展COOOL数据集，并使用余弦相似度评估危险检测和标注的语义相似性，验证了所提出方法的有效性。虽然论文中没有给出具体的性能指标提升数据，但强调了该方法在零样本危险物体检测方面的潜力，并为未来的研究方向提供了见解。

🎯 应用场景

该研究成果可应用于自动驾驶安全系统，提高车辆对未知危险的感知能力，从而减少交通事故。此外，该方法还可以扩展到其他领域，如智能监控、工业安全等，用于检测异常事件和危险行为，具有广泛的应用前景和实际价值。

📄 摘要（原文）

Detecting anomalous hazards in visual data, particularly in video streams, is a critical challenge in autonomous driving. Existing models often struggle with unpredictable, out-of-label hazards due to their reliance on predefined object categories. In this paper, we propose a multimodal approach that integrates vision-language reasoning with zero-shot object detection to improve hazard identification and explanation. Our pipeline consists of a Vision-Language Model (VLM), a Large Language Model (LLM), in order to detect hazardous objects within a traffic scene. We refine object detection by incorporating OpenAI's CLIP model to match predicted hazards with bounding box annotations, improving localization accuracy. To assess model performance, we create a ground truth dataset by denoising and extending the foundational COOOL (Challenge-of-Out-of-Label) anomaly detection benchmark dataset with complete natural language descriptions for hazard annotations. We define a means of hazard detection and labeling evaluation on the extended dataset using cosine similarity. This evaluation considers the semantic similarity between the predicted hazard description and the annotated ground truth for each video. Additionally, we release a set of tools for structuring and managing large-scale hazard detection datasets. Our findings highlight the strengths and limitations of current vision-language-based approaches, offering insights into future improvements in autonomous hazard detection systems. Our models, scripts, and data can be found at https://github.com/mi3labucm/COOOLER.git