PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents

📄 arXiv: 2610.01349v1 📥 PDF

作者: Fengpeng Li, Qizhou Wang, Yuke Hu, Kemou Li, Jun Liu, Haiwei Wu, Jiantao Zhou, Di Wang

分类: cs.CR, cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出PACE以解决工具使用LLM代理的安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具使用代理 大型语言模型 安全性 能力强制 路径限制 效果验证 数据安全 自动化系统

📋 核心要点

  1. 现有工具使用LLM代理在安全性上存在挑战，污染的元数据可能导致不安全的调用。
  2. PACE方法通过在每次工具调用前进行调解，确保调用的安全性与合规性。
  3. 在八个可执行的代理安全基准测试中，PACE在62个攻击列中取得最低攻击成功率，显示出显著的安全提升。

📝 摘要（中文）

工具使用的大型语言模型（LLM）代理能够将生成的文本转化为实际效果，因此被污染的工具元数据、检索页面、内存和可重用技能可能会影响下一次调用。仅在接纳之前审核一个工件并不能解决这个问题。安全变体和泄漏变体可能产生相同的接纳证据，因此安全门无法放宽对任何一方的限制。本文提出了基于来源的能力强制（PACE），在每次工具调用执行之前进行调解。路径限制提出了可执行的影响路径切割，而能力和效果验证则根据经过认证的请求编译的权限检查模式定义的效果。通过对1167对案例的完整消融实验，发现大多数安全增益归因于效果验证和拒绝控制。

🔬 方法详解

问题定义：本文旨在解决工具使用LLM代理在执行过程中可能受到污染的元数据影响，导致安全性下降的问题。现有方法无法有效区分安全和不安全的调用，存在潜在风险。

核心思路：PACE方法通过在每次工具调用执行前进行调解，确保调用的安全性。它结合了路径限制和能力验证，确保每个调用都符合预定义的安全标准。

技术框架：PACE的整体架构包括三个主要模块：路径限制、能力验证和执行合同。路径限制负责定义可执行的影响路径，能力验证则检查调用的效果与权限是否一致。执行合同确保在提出阻止或修复时能够恢复授权调用。

关键创新：PACE的主要创新在于将来源意识与能力强制结合，能够精确区分安全和不安全的调用。这一方法与现有的单一审核机制有本质区别，提供了更高的安全保障。

关键设计：在设计中，PACE采用了基于模式定义的效果验证机制，并通过认证请求编译权限。此外，路径限制确保最终操作保持在认证切割内，从而增强了系统的安全性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在八个可执行的代理安全基准测试中，PACE方法在62个攻击列中取得了最低的攻击成功率，并在14个列中与其他方法持平。相较于未防御的代理，完整基准测试的原生效用仅损失最多三分，显示出其在安全性与效用之间的良好平衡。

🎯 应用场景

PACE方法在安全敏感的领域具有广泛的应用潜力，例如金融服务、医疗保健和自动化系统等。通过确保工具使用LLM代理的安全性，能够有效防止潜在的安全漏洞和数据泄露，提升系统的可靠性和信任度。未来，PACE可能会成为工具使用代理的标准安全框架，推动相关技术的发展与应用。

📄 摘要（原文）

Tool-using large language model (LLM) agents turn generated text into real side effects, so poisoned tool metadata, retrieved pages, memory, and reusable skills can steer the next call. Vetting an artifact before admission does not settle this. A safe variant and a leaking variant can produce the same admission evidence, and a sound gate then cannot relax that site for either. We make that condition precise, which leaves the last boundary a deployment can still act on. We present Provenance-Aware Capability Enforcement (PACE), which mediates every tool call immediately before it executes. Path confinement proposes an executable cut of represented influence paths, while capability and effect verification checks schema-defined effects against authority compiled from the authenticated request. We distinguish the certified execution contract from the evaluated configuration, which can restore an authorized call after a proposed block or apply a declared repair. Confinement requires the final action to preserve the certified cut. On eight executable agent-security benchmarks with three target-model families, the evaluated configuration gives strictly lowest attack success in 62 of 79 eligible attack columns and ties in 14; full-benchmark native utility loses at most three points relative to the undefended agent. A complete ablation over 1167 paired cases attributes most security gains to effect verification and refusal control to boundary adaptation. A reduced-scale adaptive search succeeds on 0/30 out-of-authority targets against the defense.