PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents
作者: Kshitij Mishra, Abhijith Sharma, Nils Lukas, Salem Lahlou
分类: cs.AI
发布日期: 2026-10-15
备注: 27 pages, NeurIPS 2026
💡 一句话要点
提出PROBE以解决工具使用LLM代理的政策合规审计问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 政策合规 代理系统 多轮对话 马尔可夫博弈 行为审计 奖励机制 智能代理 自动化审计
📋 核心要点
- 现有的评估方法无法有效检测代理在工具使用中是否遵循政策，导致政策违规审计面临挑战。
- 本文提出PROBE算法，通过多轮对话与代理交互，探测政策违规，形式化为双人马尔可夫博弈。
- 实验表明，使用PROBE训练的审计员发现的政策违规显著多于零-shot对手，展示了其有效性和必要性。
📝 摘要（中文）
现代代理系统通过外部工具扩展语言模型，使其能够通过多轮交互完成复杂任务。然而，现有评估方法未能有效测试代理在工具使用中是否遵循预定义的政策。为此，本文提出了PROBE（政策规则观察通过行为探索），一种训练LLM审计员的算法，能够通过多轮工具介导的对话与部署的代理进行交互，探测政策违规行为。我们将代理审计形式化为一个双人马尔可夫博弈，并提出了一种复合奖励机制，平衡违规发现、行为可信度、对话进展和政策多样性。实验结果表明，使用PROBE训练的审计员能够发现更广泛和更高收益的政策违规，展示了多轮行为审计在代理评估中的必要性。
🔬 方法详解
问题定义：本文旨在解决现有方法无法有效审计工具使用中代理的政策合规性的问题。现有的能力基准和内容安全评估无法检测代理在多轮交互中可能出现的政策违规。
核心思路：PROBE算法通过模拟真实用户与代理的多轮对话，探测政策违规行为。将代理审计视为双人马尔可夫博弈，设计复合奖励机制以平衡多个目标。
技术框架：整体架构包括审计员与代理的交互模块、奖励设计模块和策略优化模块。审计员通过多轮对话与代理进行交互，收集数据并评估政策合规性。
关键创新：最重要的创新在于将代理审计形式化为博弈论框架，并提出复合奖励机制，能够同时考虑多个审计目标，提升审计效果。
关键设计：在奖励设计中，考虑了违规发现、行为可信度、对话进展和政策多样性等因素。实验中比较了GRPO、DPO和GFlowNet等优化方法，以验证设计的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用PROBE训练的审计员能够发现的政策违规数量和质量显著高于同架构的零-shot对手，尤其是在审计员规模较小的情况下，提升幅度明显。这表明多轮行为审计在代理评估中具有独特的价值。
🎯 应用场景
该研究的潜在应用领域包括自动化政策审计、智能代理系统的合规性检测以及多轮对话系统的安全性评估。通过提供一种可扩展的审计方法，PROBE能够帮助企业和组织确保其智能系统遵循相关政策和法规，提升系统的安全性和可靠性。
📄 摘要（原文）
Modern agentic systems extend language models with external tools, enabling them to complete complex tasks through multi-turn interactions. As these agents are deployed in consequential settings, they are often constrained by policies governing pricing, privacy, confirmation, safety, and other requirements. However, existing evaluation methods leave a critical gap: capability benchmarks measure what agents can accomplish, while content-safety red-teaming measures harmful generations, but neither tests whether agents comply with predefined policies during otherwise valid tool use. Such policy violations are difficult to audit because their effects may emerge only after several turns, span multiple tool calls, or surface in downstream systems. We propose PROBE (Policy Rule Observation via Behavioral Exploration), an algorithm for training LLM-based auditors that interact with deployed agents as realistic users and probe them for policy violations through multi-turn, tool-mediated dialogue. We formalize agent auditing as a two-player Markov game and propose a composite reward that balances violation discovery, behavioral plausibility, conversation progress, and policy diversity. To study training objectives and reward design, we compare GRPO, DPO, and GFlowNet-based optimization in a controlled setting. Across extensive experiments, auditors trained with PROBE uncover substantially broader and higher-yield policy violations than same-architecture zero-shot adversaries, even when the auditor is significantly smaller than the target agent. Our results show that multi-turn behavioral auditing is a distinct and necessary axis of agent evaluation, complementing capability and safety benchmarks. PROBE offers a scalable path toward automated policy auditing for real-world agentic systems and suggests a co-evolutionary loop in which auditors expose failures and agents improve from auditor feedback.