ELITE: Enhanced Language-Image Toxicity Evaluation for Safety
作者: Wonjun Lee, Doehyeon Lee, Eugene Choi, Sangyoon Yu, Ashkan Yousefpour, Haon Park, Bumsub Ham, Suhyun Kim
分类: cs.CV, cs.CL
发布日期: 2025-02-07 (更新: 2025-07-24)
备注: ICML 2025. Project page at https://velpegor.github.io/ELITE/
💡 一句话要点
提出ELITE基准与评估器，提升视觉语言模型安全性评估的质量与多样性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型安全 多模态毒性评估 安全基准 自动评估 图像文本对 有害内容检测 ELITE评估器
📋 核心要点
- 现有VLM安全基准依赖自动评估，难以检测隐式有害内容，导致评估不准确，质量和多样性不足。
- 提出ELITE基准和评估器，通过显式毒性评分，更准确评估多模态上下文中的有害性，提升评估质量。
- 实验表明，ELITE评估器与人类评估对齐度更高，ELITE基准提供更高质量和多样性的评估数据。
📝 摘要（中文）
现有的视觉语言模型(VLM)容易受到恶意提示的攻击，产生有害输出。现有的VLM安全基准主要依赖于自动评估方法，但这些方法难以检测隐式有害内容或产生不准确的评估。因此，现有基准存在有害性水平低、数据模糊以及图像-文本对组合多样性有限等问题。为了解决这些问题，我们提出了ELITE基准，这是一个高质量的VLM安全评估基准，并由我们增强的评估方法ELITE评估器提供支持。ELITE评估器显式地结合了毒性评分，以准确评估多模态上下文中的有害性，在这种上下文中，VLM通常会提供具体的、令人信服的但无害的图像描述。我们使用ELITE评估器过滤掉现有基准中模糊和低质量的图像-文本对，并生成安全和不安全图像-文本对的各种组合。实验表明，与之前的自动方法相比，ELITE评估器实现了与人类评估的更好对齐，并且ELITE基准提供了增强的基准质量和多样性。通过引入ELITE，我们为更安全、更强大的VLM铺平了道路，为评估和减轻实际应用中的安全风险贡献了重要的工具。
🔬 方法详解
问题定义：论文旨在解决现有视觉语言模型（VLM）安全评估基准的不足，具体表现为：1）难以检测隐式有害内容；2）评估结果与人类判断存在偏差；3）基准数据集质量不高，包含模糊数据；4）图像-文本组合的多样性不足。这些问题导致VLM在实际应用中存在潜在的安全风险。
核心思路：论文的核心思路是构建一个更高质量、更具多样性的VLM安全评估基准（ELITE），并设计一个更准确的自动评估器（ELITE评估器）。ELITE评估器通过显式地引入毒性评分，来更有效地识别多模态上下文中的有害内容。同时，通过过滤低质量数据和生成多样化的图像-文本组合，提升了基准数据集的质量和多样性。
技术框架：ELITE框架主要包含两个部分：ELITE基准数据集和ELITE评估器。ELITE基准数据集的构建流程包括：1）从现有基准数据集中筛选图像-文本对；2）使用ELITE评估器过滤掉模糊和低质量的图像-文本对；3）生成多样化的安全和不安全图像-文本对组合。ELITE评估器的核心是毒性评分模块，用于评估图像-文本对的有害程度。整体流程是，给定一个图像-文本对，ELITE评估器输出一个毒性评分，该评分用于判断该图像-文本对是否具有潜在的有害性。
关键创新：论文最重要的技术创新点在于ELITE评估器中显式地引入了毒性评分。与现有方法相比，ELITE评估器能够更准确地评估多模态上下文中的有害性，尤其是在VLM生成看似合理但实则有害的描述时。此外，ELITE基准数据集的构建方法也具有创新性，通过过滤低质量数据和生成多样化的图像-文本组合，提升了数据集的质量和多样性。
关键设计：ELITE评估器的关键设计在于毒性评分模块的具体实现。论文中可能使用了预训练的毒性检测模型，并对其进行了微调，以适应多模态上下文的安全评估任务。此外，ELITE基准数据集的构建过程中，可能使用了特定的策略来生成多样化的图像-文本组合，例如，通过组合不同的图像和文本，或者通过修改现有的图像-文本对来生成新的数据。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ELITE评估器与人类评估的对齐度优于现有的自动评估方法，这表明ELITE评估器能够更准确地评估VLM的安全性。此外，ELITE基准数据集提供了更高质量和多样性的评估数据，有助于更全面地评估VLM的安全性。具体的性能数据和提升幅度在论文中进行了详细的展示。
🎯 应用场景
该研究成果可应用于提升视觉语言模型在各种实际场景中的安全性，例如自动驾驶、智能客服、内容审核等。通过使用ELITE基准和评估器，可以更有效地评估和改进VLM的安全性，降低其产生有害输出的风险，从而保障用户安全和维护社会稳定。未来，该研究可以进一步扩展到其他多模态模型和应用领域。
📄 摘要（原文）
Current Vision Language Models (VLMs) remain vulnerable to malicious prompts that induce harmful outputs. Existing safety benchmarks for VLMs primarily rely on automated evaluation methods, but these methods struggle to detect implicit harmful content or produce inaccurate evaluations. Therefore, we found that existing benchmarks have low levels of harmfulness, ambiguous data, and limited diversity in image-text pair combinations. To address these issues, we propose the ELITE benchmark, a high-quality safety evaluation benchmark for VLMs, underpinned by our enhanced evaluation method, the ELITE evaluator. The ELITE evaluator explicitly incorporates a toxicity score to accurately assess harmfulness in multimodal contexts, where VLMs often provide specific, convincing, but unharmful descriptions of images. We filter out ambiguous and low-quality image-text pairs from existing benchmarks using the ELITE evaluator and generate diverse combinations of safe and unsafe image-text pairs. Our experiments demonstrate that the ELITE evaluator achieves superior alignment with human evaluations compared to prior automated methods, and the ELITE benchmark offers enhanced benchmark quality and diversity. By introducing ELITE, we pave the way for safer, more robust VLMs, contributing essential tools for evaluating and mitigating safety risks in real-world applications.