Cascade: Composing Software-Hardware Attack Gadgets for Adversarial Threat Amplification in Compound AI Systems
作者: Sarbartha Banerjee, Prateek Sahu, Anjo Vahldiek-Oberwagner, Jose Sanchez Vicarte, Mohit Tiwari
分类: cs.CR, cs.AI
发布日期: 2026-03-12
备注: 11 pages, 8 figures, 1 table
💡 一句话要点
Cascade：构建软硬件攻击工具，放大复合AI系统中的对抗威胁
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 复合AI系统 安全漏洞 对抗攻击 LLM安全 软硬件协同攻击 代码注入 Rowhammer攻击
📋 核心要点
- 现有研究主要关注LLM算法层面的安全风险，忽略了传统软硬件漏洞在复合AI系统中的潜在威胁。
- 本文提出Cascade方法，通过组合利用传统软硬件漏洞与LLM算法弱点，实现对复合AI系统的攻击。
- 实验证明，Cascade能够通过代码注入和数据操纵等手段，绕过安全防护，造成AI安全违规和数据泄露。
📝 摘要（中文）
生成式AI的快速发展催生了复合AI系统，这些系统是由多个大型语言模型（LLM）、软件工具和数据库系统组成的流水线。复合AI系统构建在分布式硬件基础设施上运行的分层传统软件栈之上。许多不同的软件组件容易受到通用漏洞披露（CVE）数据库中记录的传统安全缺陷的影响，而底层分布式硬件基础设施仍然暴露于定时攻击、位翻转故障和基于功耗的侧信道。目前的研究主要关注LLM特定的风险，如模型提取、训练数据泄露和不安全生成，而忽略了传统系统漏洞的影响。本文研究了如何利用传统的软硬件漏洞来补充LLM特定的算法攻击，从而破坏复合AI流水线的完整性。我们展示了两种新颖的攻击，将系统级漏洞与算法弱点相结合：（1）利用软件代码注入缺陷以及防护栏Rowhammer攻击，将未经修改的越狱提示注入LLM，导致AI安全违规；（2）操纵知识数据库以重定向LLM代理，从而将敏感用户数据传输到恶意应用程序，从而违反保密性。这些攻击突显了解决传统漏洞的必要性；我们系统化了攻击原语，并通过按目标对漏洞进行分组并将其映射到攻击生命周期的不同阶段来分析它们的组成。这种方法能够进行严格的红队演练，并为未来的防御策略奠定基础。
🔬 方法详解
问题定义：论文旨在解决复合AI系统中，传统软硬件漏洞与LLM算法弱点结合可能造成的安全威胁。现有方法主要关注LLM自身的安全问题，忽略了底层系统漏洞可能被利用来放大LLM攻击的风险。
核心思路：核心思路是将传统的软件和硬件漏洞与LLM的算法弱点相结合，构建复合攻击链。通过利用系统层面的漏洞，例如代码注入和硬件攻击，来绕过LLM的安全防护机制，从而实现对LLM的恶意利用。
技术框架：Cascade攻击框架包含以下几个主要阶段：1) 漏洞挖掘：识别复合AI系统中存在的软件和硬件漏洞。2) 攻击原语构建：针对特定漏洞，构建相应的攻击原语，例如代码注入payload和Rowhammer攻击脚本。3) 攻击组合：将不同的攻击原语组合起来，形成完整的攻击链，以实现特定的攻击目标，例如越狱LLM或窃取用户数据。4) 攻击执行：执行攻击链，验证攻击效果。
关键创新：关键创新在于将传统的系统安全漏洞与LLM的算法弱点相结合，提出了复合攻击的概念。这种攻击方式能够绕过LLM自身的安全防护机制，从而实现更有效的攻击。此外，论文还系统化地分析了攻击原语的组合方式，为未来的防御策略提供了指导。
关键设计：论文中提出的攻击依赖于具体的软件漏洞（例如代码注入）和硬件漏洞（例如Rowhammer）。攻击的成功与否取决于漏洞的利用方式和LLM的安全防护机制。例如，在越狱LLM的攻击中，需要精心构造代码注入payload，以绕过LLM的输入过滤和安全检查。
🖼️ 关键图片
📊 实验亮点
论文展示了两种具体的Cascade攻击案例：1) 利用代码注入和Rowhammer攻击，成功越狱LLM，使其生成不安全内容。2) 通过操纵知识数据库，诱导LLM将敏感用户数据发送到恶意应用程序。这些实验结果表明，传统的软硬件漏洞可以被用来放大LLM的攻击风险，对复合AI系统的安全性构成严重威胁。
🎯 应用场景
该研究成果可应用于评估和增强复合AI系统的安全性。通过模拟Cascade攻击，可以发现系统中潜在的安全漏洞，并采取相应的防御措施。此外，该研究还可以为开发更安全的AI系统提供指导，例如，设计更强大的安全防护机制，以及加强对底层系统漏洞的防范。
📄 摘要（原文）
Rapid progress in generative AI has given rise to Compound AI systems - pipelines comprised of multiple large language models (LLM), software tools and database systems. Compound AI systems are constructed on a layered traditional software stack running on a distributed hardware infrastructure. Many of the diverse software components are vulnerable to traditional security flaws documented in the Common Vulnerabilities and Exposures (CVE) database, while the underlying distributed hardware infrastructure remains exposed to timing attacks, bit-flip faults, and power-based side channels. Today, research targets LLM-specific risks like model extraction, training data leakage, and unsafe generation -- overlooking the impact of traditional system vulnerabilities. This work investigates how traditional software and hardware vulnerabilities can complement LLM-specific algorithmic attacks to compromise the integrity of a compound AI pipeline. We demonstrate two novel attacks that combine system-level vulnerabilities with algorithmic weaknesses: (1) Exploiting a software code injection flaw along with a guardrail Rowhammer attack to inject an unaltered jailbreak prompt into an LLM, resulting in an AI safety violation, and (2) Manipulating a knowledge database to redirect an LLM agent to transmit sensitive user data to a malicious application, thus breaching confidentiality. These attacks highlight the need to address traditional vulnerabilities; we systematize the attack primitives and analyze their composition by grouping vulnerabilities by their objective and mapping them to distinct stages of an attack lifecycle. This approach enables a rigorous red-teaming exercise and lays the groundwork for future defense strategies.