A Survey of Safety on Large Vision-Language Models: Attacks, Defenses and Evaluations

📄 arXiv: 2502.14881v1 📥 PDF

作者: Mang Ye, Xuankun Rong, Wenke Huang, Bo Du, Nenghai Yu, Dacheng Tao

分类: cs.CR, cs.CV

发布日期: 2025-02-14

备注: 22 pages, 2 figures

🔗 代码/项目: GITHUB

💡 一句话要点

综述性研究：全面分析大视觉语言模型（LVLM）的安全性，涵盖攻击、防御与评估。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大视觉语言模型 LVLM安全 攻击防御 安全评估 多模态安全

📋 核心要点

  1. 现有LVLM面临安全漏洞挑战，容易受到恶意攻击，导致不安全或不道德内容的生成，需要系统性的安全分析与防御。
  2. 该综述提出统一框架，从攻击、防御和评估三个维度全面分析LVLM安全性，并根据LVLM生命周期进行分类，提供深入见解。
  3. 通过对Deepseek Janus-Pro进行安全评估，为提升LVLM安全性提供战略建议，并构建开源库促进该领域研究。

📝 摘要（中文）

随着大视觉语言模型（LVLM）的快速发展，确保其安全性已成为一个至关重要的研究领域。本综述全面分析了LVLM的安全性，涵盖了攻击、防御和评估方法等关键方面。我们提出了一个统一的框架，整合了这些相互关联的组件，从而对LVLM的漏洞和相应的缓解策略提供了整体的视角。通过分析LVLM的生命周期，我们引入了一个分类框架，区分了推理和训练阶段，并进一步细分了子类别，以提供更深入的见解。此外，我们还强调了现有研究的局限性，并概述了旨在加强LVLM鲁棒性的未来方向。作为研究的一部分，我们对最新的LVLM，Deepseek Janus-Pro进行了一系列安全评估，并对结果进行了理论分析。我们的发现为提升LVLM安全性并确保其在高风险、真实世界应用中的安全可靠部署提供了战略建议。本综述旨在成为未来研究的基石，促进模型的开发，这些模型不仅突破了多模态智能的界限，而且符合最高的安全和道德标准。此外，为了帮助该领域不断增长的研究，我们创建了一个公共存储库，以不断编译和更新LVLM安全方面的最新工作：https://github.com/XuankunRong/Awesome-LVLM-Safety 。

🔬 方法详解

问题定义：当前的大视觉语言模型（LVLM）虽然在多模态任务上表现出色，但其安全性问题日益突出。现有的LVLM容易受到各种攻击，例如提示注入攻击、对抗样本攻击等，导致模型生成有害、不准确或带有偏见的内容。这些安全漏洞限制了LVLM在实际应用中的部署，尤其是在高风险场景下。因此，如何全面评估和提升LVLM的安全性成为了一个亟待解决的问题。

核心思路：本综述的核心思路是构建一个统一的框架，从攻击、防御和评估三个维度系统地分析LVLM的安全性。通过对LVLM生命周期的分析，将安全性问题划分为训练阶段和推理阶段，并针对不同阶段的特点，研究相应的攻击方法和防御策略。这种分层分析的方法有助于更深入地理解LVLM的脆弱性，并为开发有效的安全措施提供指导。

技术框架：该综述的技术框架主要包括以下几个模块：1) 攻击分析：对LVLM面临的各种攻击类型进行分类和描述，例如提示注入攻击、对抗样本攻击、后门攻击等。2) 防御策略：总结现有的LVLM防御方法，包括输入过滤、对抗训练、安全对齐等。3) 评估方法：介绍用于评估LVLM安全性的指标和数据集，例如有害内容生成率、偏见程度等。4) 生命周期分析：将LVLM的安全性问题划分为训练阶段和推理阶段，并针对不同阶段的特点进行分析。

关键创新：本综述的创新之处在于提出了一个统一的框架，将LVLM的攻击、防御和评估整合在一起，从而提供了一个更全面的视角。此外，通过对LVLM生命周期的分析，将安全性问题划分为训练阶段和推理阶段，有助于更深入地理解LVLM的脆弱性。该综述还对最新的LVLM（Deepseek Janus-Pro）进行了安全评估，并对结果进行了理论分析，为未来的研究提供了参考。

关键设计：该综述的关键设计在于其分类框架，该框架根据LVLM的生命周期（训练阶段和推理阶段）对安全性问题进行分类。这种分类方法有助于更清晰地识别不同阶段的潜在风险，并针对性地开发防御策略。此外，该综述还对各种攻击和防御方法进行了详细的描述和比较，为研究人员提供了有价值的参考。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该研究对Deepseek Janus-Pro进行了安全评估，揭示了现有LVLM的安全漏洞。通过理论分析，为提升LVLM安全性提供了战略建议。此外，创建的开源库（https://github.com/XuankunRong/Awesome-LVLM-Safety）将持续更新LVLM安全方面的最新研究成果，为该领域的研究人员提供便利。

🎯 应用场景

该研究成果可应用于提升大视觉语言模型在医疗、金融、教育等领域的安全性与可靠性。通过识别并防御潜在的攻击，降低模型生成有害或不准确信息的风险，从而促进LVLM在安全敏感场景中的广泛应用，并为未来的模型安全设计提供指导。

📄 摘要（原文）

With the rapid advancement of Large Vision-Language Models (LVLMs), ensuring their safety has emerged as a crucial area of research. This survey provides a comprehensive analysis of LVLM safety, covering key aspects such as attacks, defenses, and evaluation methods. We introduce a unified framework that integrates these interrelated components, offering a holistic perspective on the vulnerabilities of LVLMs and the corresponding mitigation strategies. Through an analysis of the LVLM lifecycle, we introduce a classification framework that distinguishes between inference and training phases, with further subcategories to provide deeper insights. Furthermore, we highlight limitations in existing research and outline future directions aimed at strengthening the robustness of LVLMs. As part of our research, we conduct a set of safety evaluations on the latest LVLM, Deepseek Janus-Pro, and provide a theoretical analysis of the results. Our findings provide strategic recommendations for advancing LVLM safety and ensuring their secure and reliable deployment in high-stakes, real-world applications. This survey aims to serve as a cornerstone for future research, facilitating the development of models that not only push the boundaries of multimodal intelligence but also adhere to the highest standards of security and ethical integrity. Furthermore, to aid the growing research in this field, we have created a public repository to continuously compile and update the latest work on LVLM safety: https://github.com/XuankunRong/Awesome-LVLM-Safety .