SoK: A Systems Perspective on Compound AI Threats and Countermeasures

📄 arXiv: 2411.13459v1 📥 PDF

作者: Sarbartha Banerjee, Prateek Sahu, Mulong Luo, Anjo Vahldiek-Oberwagner, Neeraja J. Yadwadkar, Mohit Tiwari

分类: cs.CR, cs.AI, cs.LG

发布日期: 2024-11-20

备注: 13 pages, 4 figures, 2 tables

💡 一句话要点

系统性分析复合AI威胁与对策，为安全部署提供指导

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 复合AI系统 安全威胁 攻击向量 防御策略 Mitre Att&ck 跨层攻击 机器学习安全

📋 核心要点

  1. 现有研究对AI系统各层面的攻击研究分散，缺乏系统性的视角，难以应对复合AI系统日益增长的复杂性和攻击面。
  2. 该研究从系统角度出发，分析了复合AI系统中软硬件层面的各种攻击，并展示了如何组合攻击以降低威胁模型假设。
  3. 论文按照Mitre Att&ck框架系统化了机器学习攻击，并概述了软硬件层面的现有对策，为安全部署复合AI系统提供指导。

📝 摘要（中文）

企业广泛使用的大型语言模型（LLM）通常基于专有模型，并处理敏感输入和数据。现有研究已识别出针对训练和推理过程中使用的各种软硬件组件的大量攻击向量，这使得强制执行保密性和完整性策略极具挑战性。随着我们构建集成多个LLM的复合AI推理流水线，攻击面显著扩大。攻击者现在关注AI算法以及与这些系统相关的软硬件组件。当前研究通常孤立地检查这些元素，但我们发现结合跨层攻击观察可以实现强大的端到端攻击，且对威胁模型的假设最小。鉴于每一层都存在大量攻击，我们需要对每一层中不同的攻击向量进行整体和系统化的理解。本文档讨论了适用于复合AI系统的不同软硬件攻击，并展示了如何结合多种攻击机制来减少孤立攻击所需的威胁模型假设。接下来，我们按照Mitre Att&ck框架系统化ML攻击，以便更好地根据威胁模型定位每次攻击。最后，我们概述了软硬件层现有的对策，并讨论了综合防御策略的必要性，以实现复合AI系统的安全和高性能部署。

🔬 方法详解

问题定义：论文旨在解决复合AI系统日益增长的安全威胁问题。现有研究往往孤立地分析软件、硬件和算法层面的攻击，缺乏对跨层攻击的系统性理解，难以应对复杂的攻击场景。此外，现有防御措施也难以覆盖复合AI系统的全部攻击面，需要更全面的防御策略。

核心思路：论文的核心思路是从系统角度出发，将复合AI系统视为一个整体，分析其软硬件和算法层面的攻击向量，并研究如何组合这些攻击以实现更强大的攻击效果。同时，论文还借鉴Mitre Att&ck框架，对机器学习攻击进行系统化分类，并概述了现有的防御措施。

技术框架：论文构建了一个复合AI系统的攻击模型，该模型包括软件层、硬件层和算法层。在软件层，论文分析了操作系统、驱动程序和应用程序的攻击向量。在硬件层，论文分析了CPU、GPU和内存的攻击向量。在算法层，论文分析了模型训练和推理过程中的攻击向量。论文还研究了如何组合这些攻击向量以实现跨层攻击。

关键创新：论文的关键创新在于提出了一个系统性的复合AI威胁分析框架，该框架能够帮助研究人员和安全工程师更好地理解复合AI系统的攻击面，并设计更有效的防御措施。此外，论文还展示了如何组合不同层面的攻击向量以实现更强大的攻击效果，这为安全研究人员提供了新的思路。

关键设计：论文的关键设计包括：1) 构建了一个包含软硬件和算法层的复合AI系统攻击模型；2) 借鉴Mitre Att&ck框架对机器学习攻击进行系统化分类；3) 分析了不同层面的攻击向量，并研究了如何组合这些攻击向量；4) 概述了现有的防御措施，并提出了综合防御策略的必要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过分析复合AI系统的攻击面，展示了跨层攻击的潜在威胁，并强调了综合防御策略的重要性。通过借鉴Mitre Att&ck框架，论文系统化地整理了机器学习攻击，为安全研究人员和工程师提供了有价值的参考。

🎯 应用场景

该研究成果可应用于各种涉及复合AI系统的场景，例如智能制造、自动驾驶、金融风控等。通过系统性地分析和防范潜在的安全威胁，可以提高AI系统的可靠性和安全性，保护用户数据和隐私，促进AI技术的健康发展。

📄 摘要（原文）

Large language models (LLMs) used across enterprises often use proprietary models and operate on sensitive inputs and data. The wide range of attack vectors identified in prior research - targeting various software and hardware components used in training and inference - makes it extremely challenging to enforce confidentiality and integrity policies. As we advance towards constructing compound AI inference pipelines that integrate multiple large language models (LLMs), the attack surfaces expand significantly. Attackers now focus on the AI algorithms as well as the software and hardware components associated with these systems. While current research often examines these elements in isolation, we find that combining cross-layer attack observations can enable powerful end-to-end attacks with minimal assumptions about the threat model. Given, the sheer number of existing attacks at each layer, we need a holistic and systemized understanding of different attack vectors at each layer. This SoK discusses different software and hardware attacks applicable to compound AI systems and demonstrates how combining multiple attack mechanisms can reduce the threat model assumptions required for an isolated attack. Next, we systematize the ML attacks in lines with the Mitre Att&ck framework to better position each attack based on the threat model. Finally, we outline the existing countermeasures for both software and hardware layers and discuss the necessity of a comprehensive defense strategy to enable the secure and high-performance deployment of compound AI systems.