LLM in the Middle: A Systematic Review of Threats and Mitigations to Real-World LLM-based Systems
作者: Vitor Hugo Galhardo Moia, Igor Jochem Sanz, Gabriel Antonio Fontes Rebello, Rodrigo Duarte de Meneses, Briland Hitaj, Ulf Lindqvist
分类: cs.CR, cs.AI, cs.CL, cs.ET, cs.LG
发布日期: 2025-09-12
备注: 37 pages, 8 figures, 13 tables
💡 一句话要点
系统性分析LLM应用中的威胁与防御，为安全部署提供指导
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型安全 LLM威胁建模 安全漏洞分析 防御策略 系统安全 隐私保护 对抗性攻击
📋 核心要点
- 现有基于LLM的系统面临传统软件威胁和LLM特有威胁的双重挑战，缺乏系统性的安全分析。
- 该论文通过系统性回顾和分类威胁与防御策略，覆盖LLM的整个生命周期，为安全部署提供指导。
- 论文分析了真实场景，根据威胁的严重程度和所属场景进行分类，并推荐相应的防御策略。
📝 摘要（中文）
生成式人工智能（GenAI），特别是大型语言模型（LLM）的成功和广泛应用，吸引了网络犯罪分子的注意，他们试图滥用模型、窃取敏感数据或破坏服务。为基于LLM的系统提供安全性是一项巨大的挑战，因为既要缓解传统软件应用程序的威胁，也要缓解针对LLM及其集成的威胁。本综述通过系统性地回顾和全面地分类威胁和防御策略，考虑整个软件和LLM生命周期，从而阐明了此类基于LLM的系统的安全和隐私问题。我们分析了具有不同LLM使用特征的真实场景，涵盖从开发到运营的各个阶段。此外，威胁根据其严重程度和所属场景进行分类，从而有助于识别最相关的威胁。推荐的防御策略被系统地分类，并映射到相应的生命周期阶段和它们可能减轻的攻击策略。这项工作为消费者和供应商理解并有效地缓解在其各自解决方案或组织中集成LLM期间的风险铺平了道路。它还使研究界能够从对可能阻碍基于LLM的系统的安全和隐私保护采用的开放挑战和边缘案例的讨论中受益。
🔬 方法详解
问题定义：论文旨在解决在实际应用中，基于LLM的系统所面临的各种安全和隐私威胁。现有的方法往往只关注单一类型的攻击，缺乏对整个LLM生命周期（从开发到部署）的系统性分析和防御策略。此外，传统软件安全方法难以完全覆盖LLM引入的新型攻击面，例如提示注入、对抗性攻击等。
核心思路：论文的核心思路是对LLM应用中的威胁进行全面的梳理和分类，并针对不同的威胁提出相应的防御策略。通过分析真实世界的应用场景，识别出最常见的和最具威胁性的攻击模式。同时，论文强调了在LLM的整个生命周期中，都需要考虑安全问题，而不仅仅是在部署阶段。
技术框架：论文采用系统性文献综述的方法，对现有的研究成果进行整理和归纳。具体流程包括： 1. 确定研究范围：明确关注基于LLM的系统的安全和隐私问题。 2. 文献检索：在主要的学术数据库和会议论文集中搜索相关文献。 3. 文献筛选：根据预定的标准筛选出高质量的文献。 4. 数据提取：从筛选出的文献中提取关键信息，例如威胁类型、攻击方法、防御策略等。 5. 威胁分类：根据威胁的性质、影响和攻击阶段对威胁进行分类。 6. 防御策略映射：将防御策略映射到相应的威胁和LLM生命周期阶段。 7. 案例分析：分析真实世界的LLM应用案例，验证威胁和防御策略的有效性。
关键创新：论文的主要创新在于： 1. 对LLM应用中的威胁进行了全面的、系统性的分类，涵盖了从开发到部署的整个生命周期。 2. 提出了一个威胁和防御策略的映射框架，帮助开发者和安全人员快速找到针对特定威胁的防御方法。 3. 通过分析真实世界的应用案例，验证了威胁和防御策略的有效性，并提出了未来研究方向。
关键设计：论文没有涉及具体的参数设置、损失函数或网络结构等技术细节，因为这是一篇综述性文章，主要关注的是对现有研究成果的整理和归纳。论文的关键设计在于其威胁分类体系和防御策略映射框架，这些框架可以帮助开发者和安全人员更好地理解和应对LLM应用中的安全风险。
📊 实验亮点
该论文通过系统性地分析和分类LLM应用中的威胁，为开发者和安全人员提供了一个全面的安全指南。论文不仅识别了各种潜在的攻击方式，还针对每种攻击方式提出了相应的防御策略，并将其映射到LLM的生命周期阶段，从而帮助开发者在整个开发过程中考虑安全问题。论文还分析了真实世界的应用案例，验证了威胁和防御策略的有效性。
🎯 应用场景
该研究成果可应用于各种基于LLM的系统，例如智能客服、内容生成、代码辅助等。通过理解和缓解LLM应用中的安全风险，可以提高系统的可靠性和安全性，保护用户隐私，并促进LLM技术的健康发展。该研究对LLM安全领域的从业者和研究者具有重要的参考价值。
📄 摘要（原文）
The success and wide adoption of generative AI (GenAI), particularly large language models (LLMs), has attracted the attention of cybercriminals seeking to abuse models, steal sensitive data, or disrupt services. Moreover, providing security to LLM-based systems is a great challenge, as both traditional threats to software applications and threats targeting LLMs and their integration must be mitigated. In this survey, we shed light on security and privacy concerns of such LLM-based systems by performing a systematic review and comprehensive categorization of threats and defensive strategies considering the entire software and LLM life cycles. We analyze real-world scenarios with distinct characteristics of LLM usage, spanning from development to operation. In addition, threats are classified according to their severity level and to which scenarios they pertain, facilitating the identification of the most relevant threats. Recommended defense strategies are systematically categorized and mapped to the corresponding life cycle phase and possible attack strategies they attenuate. This work paves the way for consumers and vendors to understand and efficiently mitigate risks during integration of LLMs in their respective solutions or organizations. It also enables the research community to benefit from the discussion of open challenges and edge cases that may hinder the secure and privacy-preserving adoption of LLM-based systems.