SAGA: A Security Architecture for Governing AI Agentic Systems
作者: Georgios Syros, Anshuman Suri, Jacob Ginesin, Cristina Nita-Rotaru, Alina Oprea
分类: cs.CR, cs.AI, cs.LG
发布日期: 2025-04-27 (更新: 2025-08-29)
💡 一句话要点
SAGA：一种用于管理AI Agentic系统的安全架构
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Agentic系统 安全架构 访问控制 大型语言模型 自主Agent 密码学 策略管理
📋 核心要点
- 现有Agentic系统设计缺乏具体实现和评估，尤其缺乏用户控制的Agent管理机制，难以应对潜在的安全风险。
- SAGA通过中心化的Provider管理Agent注册、访问控制策略，并使用密码学机制生成访问控制令牌，实现细粒度的Agent间交互控制。
- 实验结果表明，SAGA在多种Agentic任务中性能开销极小，且不影响任务效用，为自主Agent的安全部署提供了保障。
📝 摘要（中文）
基于大型语言模型（LLM）的Agent正日益频繁地进行交互、协作，并在最少的人工干预下自主地将任务委派给彼此。Agentic系统治理的行业指南强调，用户需要保持对其Agent的全面控制，以减轻恶意Agent可能造成的损害。一些已提出的Agentic系统设计解决了Agent身份、授权和委派问题，但仍然纯粹是理论性的，缺乏具体的实施和评估。最重要的是，它们没有提供用户控制的Agent管理。为了解决这一差距，我们提出了SAGA，一种可扩展的Agentic系统治理安全架构，它为用户提供了对其Agent生命周期的监督。在我们的设计中，用户向一个中心实体（Provider）注册他们的Agent，该Provider维护Agent的联系信息、用户定义的访问控制策略，并帮助Agent在Agent间通信中执行这些策略。我们引入了一种用于派生访问控制令牌的密码学机制，该机制提供了对Agent与其他Agent交互的细粒度控制，并提供正式的安全保证。我们使用位于不同地理位置的Agent以及多个设备端和云端LLM，在多个Agentic任务上评估了SAGA，证明了在各种条件下，性能开销最小，且对底层任务效用没有影响。我们的架构能够安全可靠地部署自主Agent，从而加速在敏感环境中负责任地采用这项技术。
🔬 方法详解
问题定义：论文旨在解决Agentic系统中，由于缺乏用户控制和安全机制，导致恶意Agent可能造成的潜在风险。现有方法要么是纯理论的，缺乏实际部署和评估，要么没有提供用户可控的Agent管理，无法有效应对Agent间的恶意交互和数据泄露等问题。
核心思路：SAGA的核心思路是引入一个中心化的Provider，作为Agent注册和访问控制的中心枢纽。用户通过Provider管理其Agent，并定义Agent间的访问控制策略。通过密码学机制生成访问控制令牌，确保Agent间的通信符合用户设定的策略，从而实现细粒度的安全控制。
技术框架：SAGA架构包含以下主要模块：1) Agent注册：用户向Provider注册其Agent，Provider维护Agent的联系信息。2) 策略定义：用户在Provider上定义Agent间的访问控制策略。3) 令牌生成：Provider根据用户定义的策略，为Agent生成访问控制令牌。4) 策略执行：Agent在与其他Agent通信时，验证对方的访问控制令牌，确保通信符合策略。
关键创新：SAGA的关键创新在于其中心化的Provider设计和基于密码学的访问控制令牌机制。Provider提供了一个统一的管理界面，方便用户控制其Agent。访问控制令牌机制则保证了Agent间通信的安全性和可控性，防止未经授权的访问和数据泄露。
关键设计：SAGA使用基于属性的加密（Attribute-Based Encryption, ABE）技术来生成访问控制令牌。用户定义的访问控制策略被编码为ABE的访问结构，Agent的属性被编码为ABE的属性集合。只有当Agent的属性满足访问结构时，才能解密访问控制令牌，从而实现细粒度的访问控制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SAGA在多个Agentic任务中性能开销极小，平均延迟增加不到5%，且对底层任务效用没有明显影响。与没有安全机制的Agentic系统相比，SAGA能够有效防止未经授权的访问和数据泄露，显著提升了Agentic系统的安全性。
🎯 应用场景
SAGA适用于需要安全可靠地部署自主Agent的各种场景，例如：金融交易、供应链管理、智能制造、医疗诊断等。通过SAGA，用户可以放心地部署Agent，而无需担心恶意Agent造成的潜在风险。该研究有助于加速自主Agent技术在敏感环境中的负责任应用，并促进Agentic系统的安全发展。
📄 摘要（原文）
Large Language Model (LLM)-based agents increasingly interact, collaborate, and delegate tasks to one another autonomously with minimal human interaction. Industry guidelines for agentic system governance emphasize the need for users to maintain comprehensive control over their agents, mitigating potential damage from malicious agents. Several proposed agentic system designs address agent identity, authorization, and delegation, but remain purely theoretical, without concrete implementation and evaluation. Most importantly, they do not provide user-controlled agent management. To address this gap, we propose SAGA, a scalable Security Architecture for Governing Agentic systems, that offers user oversight over their agents' lifecycle. In our design, users register their agents with a central entity, the Provider, that maintains agent contact information, user-defined access control policies, and helps agents enforce these policies on inter-agent communication. We introduce a cryptographic mechanism for deriving access control tokens, that offers fine-grained control over an agent's interaction with other agents, providing formal security guarantees. We evaluate SAGA on several agentic tasks, using agents in different geolocations, and multiple on-device and cloud LLMs, demonstrating minimal performance overhead with no impact on underlying task utility in a wide range of conditions. Our architecture enables secure and trustworthy deployment of autonomous agents, accelerating the responsible adoption of this technology in sensitive environments.