Survey of Vulnerabilities in Large Language Models Revealed by Adversarial Attacks
作者: Erfan Shayegani, Md Abdullah Al Mamun, Yu Fu, Pedram Zaree, Yue Dong, Nael Abu-Ghazaleh
分类: cs.CL, cs.CR, cs.LG
发布日期: 2023-10-16
💡 一句话要点
调查大型语言模型在对抗攻击下的脆弱性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 对抗攻击 安全性 自然语言处理 脆弱性分析 机器学习 系统安全
📋 核心要点
- 现有方法在处理大型语言模型的安全性时，未能充分识别其脆弱性，尤其是在对抗攻击方面。
- 本文通过系统回顾现有研究，提出了一种分类方法，涵盖文本攻击和多模态攻击等多种对抗攻击形式。
- 研究表明，安全对齐的LLMs仍然容易受到对抗攻击的影响，强调了对抗攻击研究的重要性和必要性。
📝 摘要（中文）
大型语言模型（LLMs）在架构和能力上迅速发展，随着其在复杂系统中的深入集成，审视其安全属性的紧迫性日益增加。本文调查了对LLMs的对抗攻击这一新兴跨学科领域的研究，结合了自然语言处理和安全性的视角。以往研究表明，即使是经过安全对齐的LLMs（通过指令调优和人类反馈强化学习），也可能受到对抗攻击的影响，这些攻击利用了模型的弱点并误导AI系统。本文首先概述了大型语言模型，描述了其安全对齐，并根据不同的学习结构对现有研究进行了分类，涵盖文本攻击、多模态攻击及针对复杂系统的其他攻击方法。我们还对脆弱性根源及潜在防御的研究进行了全面评述，并为新手提供了系统的现有研究回顾、对抗攻击概念的结构化分类及相关主题的演示幻灯片资源。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在对抗攻击下的脆弱性问题，现有方法未能全面识别和防御这些攻击的影响。
核心思路：通过对现有文献的系统回顾和分类，本文提出了一种新的框架，以便更好地理解和应对对抗攻击。
技术框架：整体架构包括对大型语言模型的概述、安全对齐的描述以及对抗攻击的分类，涵盖文本攻击和多模态攻击等多个模块。
关键创新：本文的创新点在于将自然语言处理与安全性结合，系统性地分类和分析对抗攻击的不同形式，填补了现有研究的空白。
关键设计：在分类过程中，本文考虑了不同学习结构的影响，并提出了针对复杂系统的攻击方法，强调了对抗攻击的多样性和复杂性。
🖼️ 关键图片
📊 实验亮点
研究结果表明，经过安全对齐的LLMs仍然容易受到多种对抗攻击的影响，尤其是在复杂系统中，强调了对抗攻击研究的重要性。具体性能数据和对比基线尚未提供，需进一步探索。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理系统的安全性评估、对抗攻击防御机制的设计以及大型语言模型在实际应用中的安全性保障。随着LLMs的广泛应用，确保其安全性将对社会产生深远影响。
📄 摘要（原文）
Large Language Models (LLMs) are swiftly advancing in architecture and capability, and as they integrate more deeply into complex systems, the urgency to scrutinize their security properties grows. This paper surveys research in the emerging interdisciplinary field of adversarial attacks on LLMs, a subfield of trustworthy ML, combining the perspectives of Natural Language Processing and Security. Prior work has shown that even safety-aligned LLMs (via instruction tuning and reinforcement learning through human feedback) can be susceptible to adversarial attacks, which exploit weaknesses and mislead AI systems, as evidenced by the prevalence of `jailbreak' attacks on models like ChatGPT and Bard. In this survey, we first provide an overview of large language models, describe their safety alignment, and categorize existing research based on various learning structures: textual-only attacks, multi-modal attacks, and additional attack methods specifically targeting complex systems, such as federated learning or multi-agent systems. We also offer comprehensive remarks on works that focus on the fundamental sources of vulnerabilities and potential defenses. To make this field more accessible to newcomers, we present a systematic review of existing works, a structured typology of adversarial attack concepts, and additional resources, including slides for presentations on related topics at the 62nd Annual Meeting of the Association for Computational Linguistics (ACL'24).