Falcon: A Cross-Modal Evaluation Dataset for Comprehensive Safety Perception

📄 arXiv: 2509.23783v1 📥 PDF

作者: Qi Xue, Minrui Jiang, Runjia Zhang, Xiurui Xie, Pei Ke, Guisong Liu

分类: cs.AI

发布日期: 2025-09-28

💡 一句话要点

提出Falcon数据集与FalconEye评估器，提升多模态大语言模型安全评估的全面性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态安全 视觉问答 大语言模型 安全评估 数据集构建

📋 核心要点

  1. 现有方法在评估多模态大语言模型（MLLM）的安全性方面存在不足，尤其是在视觉信息理解和内容审核方面。
  2. 论文提出Falcon数据集，包含图像、指令和响应的细粒度标注，用于训练和评估MLLM的安全性。
  3. 实验表明，基于Falcon数据集微调的FalconEye评估器，在多个安全基准测试中优于现有方法。

📝 摘要（中文）

现有的大语言模型（LLM）有害内容评估方法已经得到了充分的研究。然而，针对多模态大语言模型（MLLM）的方法仍然不发达且缺乏深度。这项工作强调了视觉信息在视觉问答（VQA）内容审核中的关键作用，而这一个维度在当前的研究中经常被忽视。为了弥补这一差距，我们引入了Falcon，一个大规模的视觉-语言安全数据集，包含13个危害类别中的57,515个VQA对。该数据集为图像、指令和响应中的有害属性提供了明确的注释，从而有助于全面评估MLLM生成的内容。此外，它还包括相关的危害类别以及支持相应判断的解释。我们进一步提出了FalconEye，一个使用Falcon数据集从Qwen2.5-VL-7B微调的专用评估器。实验结果表明，FalconEye能够可靠地识别复杂和安全关键的多模态对话场景中的有害内容。在我们提出的Falcon-test数据集和两个广泛使用的基准测试VLGuard和Beavertail-V上，它在总体准确性方面优于所有其他基线，突显了其作为MLLM的实用安全审计工具的潜力。

🔬 方法详解

问题定义：现有的大语言模型安全评估方法主要集中在文本模态，忽略了视觉信息在多模态场景下的重要作用。在视觉问答（VQA）等任务中，图像内容可能包含有害信息，而现有方法难以有效识别和处理此类风险。因此，需要一种更全面、更深入的多模态安全评估方法。

核心思路：论文的核心思路是构建一个包含丰富视觉信息的安全数据集，并基于此训练一个专门的评估器，以提升多模态大语言模型在安全方面的性能。通过显式标注图像、指令和响应中的有害属性，使得模型能够学习到更细粒度的安全知识。

技术框架：整体框架包含两个主要部分：Falcon数据集的构建和FalconEye评估器的训练。Falcon数据集包含57,515个VQA对，涵盖13个危害类别，并对图像、指令和响应中的有害属性进行标注。FalconEye评估器基于Qwen2.5-VL-7B进行微调，使用Falcon数据集进行训练，以提高其识别有害内容的能力。

关键创新：该论文的关键创新在于构建了一个大规模、细粒度的多模态安全数据集Falcon，并基于此训练了一个专门的评估器FalconEye。与现有方法相比，Falcon数据集更加注重视觉信息的安全评估，并提供了更全面的标注信息。FalconEye评估器能够更准确地识别复杂和安全关键的多模态对话场景中的有害内容。

关键设计：Falcon数据集的设计考虑了多种危害类别，并对图像、指令和响应进行了详细的标注。FalconEye评估器使用了Qwen2.5-VL-7B作为基础模型，并通过微调来适应安全评估任务。具体的损失函数和网络结构细节在论文中可能未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FalconEye评估器在Falcon-test数据集、VLGuard和Beavertail-V等多个基准测试中，总体准确性均优于其他基线方法。这表明FalconEye能够有效地识别多模态场景下的有害内容，并具有良好的泛化能力。具体的性能提升幅度需要参考论文中的详细数据。

🎯 应用场景

该研究成果可应用于多模态大语言模型的安全审核、内容过滤和风险控制等领域。例如，可以利用FalconEye评估器来检测和过滤包含有害信息的图像或视频，从而保护用户免受不良内容的影响。此外，该研究还可以促进多模态安全领域的发展，为构建更安全、更可靠的人工智能系统提供支持。

📄 摘要（原文）

Existing methods for evaluating the harmfulness of content generated by large language models (LLMs) have been well studied. However, approaches tailored to multimodal large language models (MLLMs) remain underdeveloped and lack depth. This work highlights the crucial role of visual information in moderating content in visual question answering (VQA), a dimension often overlooked in current research. To bridge this gap, we introduce Falcon, a large-scale vision-language safety dataset containing 57,515 VQA pairs across 13 harm categories. The dataset provides explicit annotations for harmful attributes across images, instructions, and responses, thereby facilitating a comprehensive evaluation of the content generated by MLLMs. In addition, it includes the relevant harm categories along with explanations supporting the corresponding judgments. We further propose FalconEye, a specialized evaluator fine-tuned from Qwen2.5-VL-7B using the Falcon dataset. Experimental results demonstrate that FalconEye reliably identifies harmful content in complex and safety-critical multimodal dialogue scenarios. It outperforms all other baselines in overall accuracy across our proposed Falcon-test dataset and two widely-used benchmarks-VLGuard and Beavertail-V, underscoring its potential as a practical safety auditing tool for MLLMs.