Crabs: Consuming Resource via Auto-generation for LLM-DoS Attack under Black-box Settings

📄 arXiv: 2412.13879v4 📥 PDF

作者: Yuanhe Zhang, Zhenhong Zhou, Wei Zhang, Xinyue Wang, Xiaojun Jia, Yang Liu, Sen Su

分类: cs.CL, cs.AI, cs.CR

发布日期: 2024-12-18 (更新: 2025-05-26)

备注: 22 pages, 8 figures, 11 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出AutoDoS，一种黑盒LLM-DoS攻击方法，通过自动生成资源消耗型Prompt实现拒绝服务。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM-DoS攻击 黑盒攻击 自动生成 拒绝服务 长度木马 可迁移性 资源消耗

📋 核心要点

  1. 现有LLM-DoS攻击研究主要集中于白盒场景，缺乏对黑盒场景下有效攻击方法的研究。
  2. AutoDoS通过构建DoS攻击树并迭代优化Prompt，实现了在黑盒条件下对LLM的有效攻击。
  3. 实验表明，AutoDoS能显著增加服务响应延迟，并导致严重的GPU和内存资源消耗，验证了其有效性。

📝 摘要（中文）

大型语言模型（LLMs）在各种任务中表现出卓越的性能，但仍然容易受到外部威胁，特别是LLM拒绝服务（LLM-DoS）攻击。LLM-DoS攻击旨在耗尽计算资源并阻止服务。然而，现有的研究主要集中在白盒攻击上，对黑盒场景的探索不足。本文提出了一种用于LLM-DoS的自动生成（AutoDoS）攻击，这是一种为黑盒LLM设计的自动化算法。AutoDoS构建DoS攻击树并扩展节点覆盖范围，以在黑盒条件下实现有效性。通过可迁移性驱动的迭代优化，AutoDoS可以在一个prompt中跨不同的模型工作。此外，我们发现嵌入长度木马（Length Trojan）可以使AutoDoS更有效地绕过现有的防御。实验结果表明，AutoDoS显著放大了服务响应延迟超过250倍，导致GPU利用率和内存使用方面的严重资源消耗。我们的工作为LLM-DoS攻击和安全防御提供了一个新的视角。

🔬 方法详解

问题定义：论文旨在解决黑盒场景下LLM-DoS攻击的问题。现有方法主要针对白盒场景，依赖于模型内部信息，无法直接应用于黑盒环境。因此，如何在不了解模型内部结构的情况下，高效地生成能够消耗大量计算资源的恶意Prompt，是本研究需要解决的核心问题。

核心思路：论文的核心思路是利用自动生成算法，迭代地构造和优化能够触发LLM资源消耗的Prompt。通过构建DoS攻击树，并利用可迁移性驱动的优化方法，使得生成的Prompt能够在不同的LLM模型上生效。此外，引入长度木马（Length Trojan）技术，进一步提升攻击的隐蔽性和有效性。

技术框架：AutoDoS攻击框架主要包含以下几个阶段：1) DoS攻击树构建：构建一个树状结构，每个节点代表一个Prompt，通过不断扩展节点来探索Prompt空间。2) Prompt生成与优化：利用可迁移性驱动的迭代优化算法，生成能够跨不同模型生效的Prompt。3) 长度木马嵌入：将长度木马嵌入到Prompt中，以绕过现有的防御机制。4) 攻击执行与评估：将生成的Prompt发送给目标LLM，并评估其资源消耗情况。

关键创新：AutoDoS的关键创新在于其自动化Prompt生成和优化过程，以及长度木马的引入。传统的LLM-DoS攻击依赖于人工构造Prompt，效率低下且难以泛化。AutoDoS通过自动化的方式，能够快速生成有效的攻击Prompt，并利用可迁移性优化，使其能够在不同的模型上生效。长度木马的引入则进一步提升了攻击的隐蔽性和绕过防御的能力。

关键设计：AutoDoS的关键设计包括：1) 可迁移性驱动的优化算法：该算法旨在生成能够在不同LLM模型上生效的Prompt，通过最小化不同模型之间的资源消耗差异来实现。2) 长度木马的构造方法：长度木马是一种特殊的Prompt，能够诱导LLM生成非常长的回复，从而消耗大量计算资源。论文提出了一种有效的长度木马构造方法，能够显著提升攻击效果。3) DoS攻击树的扩展策略：论文设计了一种有效的DoS攻击树扩展策略，能够快速探索Prompt空间，找到能够触发LLM资源消耗的Prompt。

📊 实验亮点

实验结果表明，AutoDoS能够显著放大服务响应延迟超过250倍，导致GPU利用率和内存使用方面的严重资源消耗。与现有方法相比，AutoDoS在黑盒场景下具有更高的攻击效率和更强的隐蔽性。此外，嵌入长度木马后，AutoDoS能够更有效地绕过现有的防御机制，进一步提升攻击效果。

🎯 应用场景

该研究成果可应用于评估和提升LLM的安全性，帮助开发者发现潜在的DoS漏洞并采取相应的防御措施。此外，该研究也为构建更安全的LLM服务提供了新的思路，例如，通过检测和过滤恶意Prompt，可以有效防止LLM-DoS攻击。该研究的潜在影响在于提高LLM服务的稳定性和可靠性，保障用户体验。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable performance across diverse tasks yet still are vulnerable to external threats, particularly LLM Denial-of-Service (LLM-DoS) attacks. Specifically, LLM-DoS attacks aim to exhaust computational resources and block services. However, existing studies predominantly focus on white-box attacks, leaving black-box scenarios underexplored. In this paper, we introduce Auto-Generation for LLM-DoS (AutoDoS) attack, an automated algorithm designed for black-box LLMs. AutoDoS constructs the DoS Attack Tree and expands the node coverage to achieve effectiveness under black-box conditions. By transferability-driven iterative optimization, AutoDoS could work across different models in one prompt. Furthermore, we reveal that embedding the Length Trojan allows AutoDoS to bypass existing defenses more effectively. Experimental results show that AutoDoS significantly amplifies service response latency by over 250$\times\uparrow$, leading to severe resource consumption in terms of GPU utilization and memory usage. Our work provides a new perspective on LLM-DoS attacks and security defenses. Our code is available at https://github.com/shuita2333/AutoDoS.