LLM in the Middle: A Systematic Review of Threats and Mitigations to Real-World LLM-based Systems
作者: Vitor Hugo Galhardo Moia, Igor Jochem Sanz, Gabriel Antonio Fontes Rebello, Rodrigo Duarte de Meneses, Briland Hitaj, Ulf Lindqvist
分类: cs.CR, cs.AI, cs.CL, cs.ET, cs.LG
发布日期: 2025-09-12
备注: 37 pages, 8 figures, 13 tables
💡 一句话要点
系统性分析LLM应用中的威胁与防御，为安全部署提供指导
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型安全 LLM威胁模型 LLM防御策略 系统安全 隐私保护 对抗性攻击 提示注入
📋 核心要点
- 现有基于LLM的系统面临传统软件威胁以及LLM特有威胁的双重挑战，缺乏系统性的安全分析和防御策略。
- 论文通过系统性回顾和分类，全面分析了LLM生命周期中存在的威胁，并提出了相应的防御策略。
- 研究分析了真实场景，根据威胁的严重程度和所属场景进行分类，并映射防御策略到生命周期阶段和攻击策略。
📝 摘要（中文）
生成式人工智能（GenAI），特别是大型语言模型（LLM）的成功和广泛应用，吸引了网络犯罪分子的注意，他们试图滥用模型、窃取敏感数据或破坏服务。为基于LLM的系统提供安全性是一项巨大的挑战，因为既要缓解传统软件应用程序的威胁，也要缓解针对LLM及其集成的威胁。本研究通过系统性回顾和全面分类，考虑整个软件和LLM生命周期，阐明了此类基于LLM的系统的安全和隐私问题，以及相应的防御策略。分析了具有不同LLM使用特征的真实场景，涵盖从开发到运营的各个阶段。此外，威胁根据其严重程度和所属场景进行分类，便于识别最相关的威胁。推荐的防御策略被系统地分类，并映射到相应的生命周期阶段和它们可能减轻的攻击策略。这项工作为消费者和供应商理解并有效降低在其各自解决方案或组织中集成LLM期间的风险铺平了道路。它还使研究界能够从对可能阻碍基于LLM的系统的安全和隐私保护采用的开放挑战和边缘案例的讨论中受益。
🔬 方法详解
问题定义：论文旨在解决在实际应用中，基于大型语言模型（LLM）的系统所面临的安全和隐私威胁问题。现有的方法往往缺乏对LLM生命周期各个阶段的系统性分析，以及针对不同威胁的有效防御策略，导致LLM系统容易受到攻击和滥用。
核心思路：论文的核心思路是对LLM生命周期进行全面的分析，识别出各个阶段可能存在的安全威胁，并针对这些威胁提出相应的防御策略。通过对真实场景的分析，将威胁进行分类，并根据威胁的严重程度和所属场景，推荐合适的防御措施。
技术框架：论文采用系统性回顾的方法，对现有的研究文献和实际案例进行分析，构建了一个包含LLM生命周期各个阶段的威胁模型。该模型包括开发、部署、运行等阶段，并针对每个阶段识别出潜在的安全威胁。同时，论文还对现有的防御策略进行分类，并将其映射到相应的威胁和生命周期阶段。
关键创新：论文的关键创新在于其系统性和全面性。它不仅考虑了传统的软件安全威胁，还关注了LLM特有的安全问题，例如提示注入、对抗性攻击等。通过对LLM生命周期的全面分析，论文提供了一个完整的安全框架，可以帮助开发者和用户更好地理解和应对LLM系统的安全风险。
关键设计：论文的关键设计包括威胁分类体系、防御策略映射以及真实场景分析。威胁分类体系根据威胁的严重程度和所属场景进行分类，方便用户快速识别和评估风险。防御策略映射将防御措施与具体的威胁和生命周期阶段相关联，提高了防御的有效性。真实场景分析则提供了实际案例，帮助用户更好地理解威胁和防御策略。
🖼️ 关键图片
📊 实验亮点
论文通过分析真实场景，对LLM应用中存在的威胁进行了分类，并根据威胁的严重程度进行了评估。同时，论文还对现有的防御策略进行了总结，并将其映射到相应的威胁和生命周期阶段。这些分析结果可以帮助开发者和用户更好地理解和应对LLM系统的安全风险。
🎯 应用场景
该研究成果可应用于各种基于LLM的系统，例如智能客服、内容生成、代码生成等。通过理解和缓解LLM应用中的安全风险，可以提高系统的可靠性和安全性，保护用户数据和隐私，促进LLM技术的健康发展。该研究对LLM安全领域的未来研究具有指导意义。
📄 摘要（原文）
The success and wide adoption of generative AI (GenAI), particularly large language models (LLMs), has attracted the attention of cybercriminals seeking to abuse models, steal sensitive data, or disrupt services. Moreover, providing security to LLM-based systems is a great challenge, as both traditional threats to software applications and threats targeting LLMs and their integration must be mitigated. In this survey, we shed light on security and privacy concerns of such LLM-based systems by performing a systematic review and comprehensive categorization of threats and defensive strategies considering the entire software and LLM life cycles. We analyze real-world scenarios with distinct characteristics of LLM usage, spanning from development to operation. In addition, threats are classified according to their severity level and to which scenarios they pertain, facilitating the identification of the most relevant threats. Recommended defense strategies are systematically categorized and mapped to the corresponding life cycle phase and possible attack strategies they attenuate. This work paves the way for consumers and vendors to understand and efficiently mitigate risks during integration of LLMs in their respective solutions or organizations. It also enables the research community to benefit from the discussion of open challenges and edge cases that may hinder the secure and privacy-preserving adoption of LLM-based systems.