Kairos: Transactional Security Enforcement at the System Boundary for LLM Agents
作者: Kristoffer Hempel, Nils Loose, Lorenzo Cavallaro, Thomas Eisenbarth
分类: cs.CR, cs.LG
发布日期: 2026-10-13
💡 一句话要点
提出Kairos以解决LLM代理的事务安全问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 事务安全 参考监控 动态管理 恶意攻击防护
📋 核心要点
- 现有方法在区分合法操作与攻击时面临结构性困难，导致监控器无法有效防御。
- 论文提出Kairos，通过在代理的隔离边界处进行参考监控，动态管理代理的效果，增强安全性。
- 实验表明，Kairos在多个基准测试中表现优异，尤其在AgentDojo上显著降低了攻击成功率。
📝 摘要（中文）
大型语言模型（LLM）代理在软件开发生命周期中变得不可或缺，但其强大的能力也使得攻击者可以利用代理的权限进行恶意操作。现有的监控方法在区分合法操作与攻击时面临结构性困难。为此，论文提出了Kairos，一个在未修改的代理隔离边界处的参考监控器，通过对代理产生的效果进行中介，显著降低了攻击成功率，同时保持了代理的正常效用。实验结果显示，Kairos在多个基准测试中优于现有防御方案，尤其在AgentDojo上将攻击成功率从47.0%降低至2.7%。
🔬 方法详解
问题定义：论文要解决的问题是如何在大型语言模型（LLM）代理的操作中有效防止恶意攻击。现有方法在区分合法操作与攻击时存在结构性困难，导致监控器无法在证据积累前做出准确判断。
核心思路：Kairos的核心思路是通过在代理的隔离边界处进行参考监控，动态管理代理产生的效果。通过声明性策略来决定可信源，从而在大多数情况下确定性地处理效果，延迟处理其他效果，直到有足够证据。
技术框架：Kairos的整体架构包括一个参考监控器，负责监控代理的所有操作，包括工具调用、Shell命令和代理编写的脚本。所有这些操作都被视为相同的文件和网络操作，从而确保隔离。决策oracle（如语言模型或人类）负责释放或拒绝延迟的效果。
关键创新：Kairos的主要创新在于其在未修改的代理隔离边界处的参考监控设计，使得监控器能够在不依赖于代理行为的情况下有效管理效果。这一设计与现有方法的本质区别在于其动态处理效果的能力。
关键设计：Kairos采用声明性策略来定义可信源，关键参数设置包括延迟处理的效果和决策oracle的选择。通过这种设计，Kairos能够在保持代理效用的同时，显著降低攻击成功率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Kairos在AgentDojo基准测试中将攻击成功率从47.0%降低至2.7%，同时保持了代理的正常效用。这一显著的性能提升表明Kairos在安全防护与功能效用之间取得了良好的平衡。
🎯 应用场景
Kairos的研究成果在多个领域具有潜在应用价值，尤其是在需要高安全性的自动化系统中，如金融交易、智能合约和自动化软件开发等。通过有效防止恶意攻击，Kairos能够提升系统的安全性和可靠性，促进LLM代理在实际应用中的广泛采用。
📄 摘要（原文）
Large language model (LLM) agents are becoming an integral part of the software development lifecycle, and the capabilities granted to them allow an agent to act with the user's authority on any resource it can access. The reach that gives an agent its utility is equally available to an attacker who can steer it. Anything an agent ingests can carry an injected instruction, and since the model does not reliably distinguish instructions from data, indirect prompt injection should be mitigated by mediating the effects the agent produces. Such mediation faces a structural difficulty. Legitimate work and the first step of an attack often look alike when an individual action is observed, and what separates them lies later in the trace, so a monitor limited to allow and deny is forced to decide before the evidence accumulates. We present Kairos, a reference monitor at the isolation boundary of an unmodified, opaque agent, where a tool call, a shell command, and a script the agent writes all cross the boundary as the same file and network operations, so that confinement holds regardless of the agent's behavior. A declarative policy that states which sources are trusted decides most effects deterministically and defers the rest, which are held while the agent continues speculatively. A decision oracle with bounded authority, such as a language model or a human, releases or refuses each deferred effect on the trace. Across three benchmarks and three agent models, Kairos outperforms existing defenses in the trade-off between attack success and utility. In particular, on AgentDojo, it reduces attack success from 47.0\% to 2.7\% while its benign utility stays at the level of the undefended agent.