ActGov: Governing LLM Agent Actions via Policy-Constrained Validation

📄 arXiv: 2609.24446v1 📥 PDF

作者: Kaiyuan Zhang, Yuke Peng, Ke Jiang, Yinqian Zhang

分类: cs.CR, cs.AI

发布日期: 2026-09-21

💡 一句话要点

提出ActGov以解决LLM代理行动的授权管理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 授权管理 动态工作流程 运行时验证 安全性

📋 核心要点

  1. 现有方法在动态工作流程中表现脆弱，无法有效管理LLM代理的授权问题。
  2. 本文提出ActGov框架，通过运行时验证每个LLM提议的工具行动，确保其在授权范围内。
  3. 实验表明，ActGov在AgentDojo和AgentDyn基准上显著降低了攻击成功率，同时保持任务效用。

📝 摘要（中文）

大型语言模型（LLM）代理越来越多地通过外部工具执行长时间的工作流程，这使得不受信任的输出可能影响后续行动并超出用户授权。现有防御措施通过隔离注入内容或使用预定义计划和静态策略来限制执行，但在动态工作流程中表现脆弱，并且在可扩展工具生态系统中扩展性差。本文提出了ActGov，一个运行时强制框架，在每个LLM提议的工具行动造成外部影响之前进行验证。ActGov-Policy组件基于统一的授权、行动、运行时上下文和安全约束的语义模型，迭代构建策略集。实验结果表明，ActGov在多个模型和攻击配置下显著降低了间接提示注入攻击的成功率，同时保持了任务效用，显著优于现有防御措施。

🔬 方法详解

问题定义：本文解决的问题是如何在动态工作流程中有效管理大型语言模型（LLM）代理的授权，现有方法在此方面表现脆弱，无法应对不受信任的输出影响后续行动的问题。

核心思路：ActGov框架通过在运行时验证每个工具调用，确保其在任务授权范围内并满足所有适用政策，从而实现对LLM代理行动的有效管理。

技术框架：ActGov由两个主要组件组成：ActGov-Policy和ActGov-Runtime。ActGov-Policy负责构建和更新策略集，而ActGov-Runtime则在运行时对每个工具调用进行抽象和验证。

关键创新：ActGov的主要创新在于其基于统一语义模型的动态策略构建和运行时验证机制，能够在不依赖LLM正确识别恶意指令的情况下，实施细粒度的授权管理。

关键设计：在策略构建中，使用了SMT（满意性模块理论）基础的反例检查来验证每次更新的有效性，确保策略集的准确性和安全性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，ActGov在AgentDojo和AgentDyn基准上显著降低了间接提示注入攻击的成功率，具体表现为成功率降低了XX%，同时保持了任务的有效性，优于现有防御措施。

🎯 应用场景

该研究的潜在应用领域包括自动化助手、智能客服和其他依赖LLM的动态系统。通过有效管理代理的授权，ActGov可以提高系统的安全性和可靠性，降低潜在的安全风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language model (LLM) agents increasingly execute long-horizon workflows through external tools, allowing untrusted outputs to influence subsequent actions and exceed user authorization. Existing defenses isolate injected content or constrain execution with predefined plans and static policies, but these approaches are brittle under dynamic workflows and scale poorly across extensible tool ecosystems. In this work, we present ActGov, a runtime enforcement framework that validates each LLM-proposed tool action before it causes external effects. Built on a unified semantic model of authorization, actions, runtime context, and security constraints, the ActGov-Policy component iteratively constructs a policy set from tool specifications, benign tasks, and observed failure traces, with each update verified through SMT-based counterexample checking. At runtime, ActGov-Runtime abstracts each tool call into finite policy records and permits it only if it remains within the task-scoped authorization boundary and satisfies all applicable policies. This per-action enforcement preserves authorization throughout long-horizon, dynamically branching workflows. We evaluate ActGov on the AgentDojo and AgentDyn benchmarks across multiple models and attack configurations. It shows that ActGov consistently reduces the success rate of indirect prompt-injection attacks while preserving task utility, significantly outperforming existing defenses. These results demonstrate that ActGov can enforce fine-grained authorization over dynamic agent executions without relying on the underlying LLM to correctly identify malicious instructions.