ACE: A Security Architecture for LLM-Integrated App Systems

📄 arXiv: 2504.20984v3 📥 PDF

作者: Evan Li, Tushin Mallick, Evan Rose, William Robertson, Alina Oprea, Cristina Nita-Rotaru

分类: cs.CR, cs.LG

发布日期: 2025-04-29 (更新: 2025-09-10)

备注: 25 pages, 13 figures, 8 tables; accepted by Network and Distributed System Security Symposium (NDSS) 2026

💡 一句话要点

ACE：为LLM集成应用系统提供安全保障的架构

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM安全 应用安全 安全架构 提示注入攻击 静态分析

📋 核心要点

  1. LLM集成应用面临恶意应用攻击，导致规划和执行阶段的完整性、可用性和隐私受到威胁。
  2. ACE架构通过抽象-具体-执行三阶段解耦规划过程，并实施数据和能力隔离，保障系统安全。
  3. 实验证明ACE能有效防御现有攻击和新提出的攻击，并在实际环境中表现出良好的效用。

📝 摘要（中文）

LLM集成应用系统通过系统LLM调用第三方应用，利用交错的规划和执行阶段来回答用户查询，从而扩展了大型语言模型（LLM）的效用。这些系统引入了新的攻击向量，恶意应用可能导致规划或执行的完整性破坏、可用性崩溃或执行期间的隐私泄露。本文识别了影响LLM集成应用中规划完整性以及执行完整性和可用性的新攻击，并针对IsolateGPT（一种旨在缓解恶意应用攻击的最新解决方案）进行了演示。我们提出了一种新的安全架构——抽象-具体-执行（ACE），用于LLM集成应用系统，为系统规划和执行提供安全保证。具体来说，ACE通过首先仅使用可信信息创建抽象执行计划，然后使用已安装的系统应用将抽象计划映射到具体计划，从而将规划分为两个阶段。我们通过对结构化计划输出进行静态分析，验证系统生成的计划是否满足用户指定的安全信息流约束。在执行期间，ACE强制执行应用之间的数据和能力屏障，并确保执行按照可信的抽象计划进行。实验表明，ACE可以防御来自InjecAgent和Agent Security Bench基准测试的间接提示注入攻击，以及我们新引入的攻击。我们还使用LangChain基准测试中的Tool Usage套件评估了ACE在实际环境中的效用。我们的架构代表了使用系统安全原则加强基于LLM的系统的重大进步。

🔬 方法详解

问题定义：LLM集成应用系统容易受到恶意应用的攻击，这些攻击可能破坏规划的完整性，导致错误的执行计划；也可能破坏执行的完整性和可用性，例如通过恶意代码注入或资源耗尽。现有方法，如IsolateGPT，虽然尝试缓解这些攻击，但仍然存在安全漏洞。

核心思路：ACE的核心思路是将规划过程解耦为抽象规划和具体规划两个阶段。抽象规划仅使用可信信息生成，确保规划的安全性。具体规划则使用系统应用将抽象计划映射为可执行的指令。通过这种方式，即使系统应用受到攻击，也无法影响抽象规划的安全性。

技术框架：ACE架构包含三个主要阶段：抽象（Abstract）、具体（Concrete）和执行（Execute）。在抽象阶段，系统使用可信信息生成抽象执行计划，该计划描述了需要执行的任务和数据流。在具体阶段，系统使用已安装的系统应用将抽象计划映射为具体的执行指令。在执行阶段，系统执行具体计划，并强制执行应用之间的数据和能力屏障，确保执行过程的安全。

关键创新：ACE的关键创新在于将规划过程解耦为抽象规划和具体规划两个阶段，并引入了静态分析来验证抽象计划是否满足用户指定的安全信息流约束。这种解耦和验证机制可以有效防止恶意应用篡改规划过程，从而提高系统的安全性。

关键设计：ACE的关键设计包括：1) 使用形式化方法定义安全信息流约束；2) 使用静态分析技术验证抽象计划是否满足这些约束；3) 使用数据和能力屏障隔离不同的应用，防止恶意应用访问敏感数据或执行恶意操作；4) 确保执行过程严格按照抽象计划进行，防止恶意应用偏离计划。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，ACE能够有效防御来自InjecAgent和Agent Security Bench基准测试的间接提示注入攻击，以及论文新提出的攻击。与IsolateGPT相比，ACE在防御这些攻击方面表现出更高的安全性。此外，在LangChain基准测试的Tool Usage套件中，ACE在实际环境中表现出良好的效用，证明了其在实际应用中的可行性。

🎯 应用场景

ACE架构可应用于各种LLM集成应用系统，例如智能助手、自动化工作流和数据分析平台。通过提供安全保障，ACE可以促进LLM技术在安全敏感领域的应用，例如金融、医疗和政府服务。未来，ACE可以进一步扩展，支持更复杂的安全策略和更广泛的应用场景。

📄 摘要（原文）

LLM-integrated app systems extend the utility of Large Language Models (LLMs) with third-party apps that are invoked by a system LLM using interleaved planning and execution phases to answer user queries. These systems introduce new attack vectors where malicious apps can cause integrity violation of planning or execution, availability breakdown, or privacy compromise during execution. In this work, we identify new attacks impacting the integrity of planning, as well as the integrity and availability of execution in LLM-integrated apps, and demonstrate them against IsolateGPT, a recent solution designed to mitigate attacks from malicious apps. We propose Abstract-Concrete-Execute (ACE), a new secure architecture for LLM-integrated app systems that provides security guarantees for system planning and execution. Specifically, ACE decouples planning into two phases by first creating an abstract execution plan using only trusted information, and then mapping the abstract plan to a concrete plan using installed system apps. We verify that the plans generated by our system satisfy user-specified secure information flow constraints via static analysis on the structured plan output. During execution, ACE enforces data and capability barriers between apps, and ensures that the execution is conducted according to the trusted abstract plan. We show experimentally that ACE is secure against attacks from the InjecAgent and Agent Security Bench benchmarks for indirect prompt injection, and our newly introduced attacks. We also evaluate the utility of ACE in realistic environments, using the Tool Usage suite from the LangChain benchmark. Our architecture represents a significant advancement towards hardening LLM-based systems using system security principles.