Towards Enforcing Company Policy Adherence in Agentic Workflows
作者: Naama Zwerdling, David Boaz, Ella Rabinovich, Guy Uziel, David Amid, Ateret Anaby-Tavor
分类: cs.CL
发布日期: 2025-07-22 (更新: 2025-10-06)
备注: EMNLP2025 (industry track), 12 pages
💡 一句话要点
提出一种可执行公司策略的Agent工作流框架,解决LLM Agent策略遵循问题
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: LLM Agent 策略执行 业务流程自动化 合规性 保护代码
📋 核心要点
- 现有LLM Agent在业务流程自动化中面临挑战,难以可靠地遵循复杂的公司策略,导致潜在的违规风险。
- 该论文提出一种两阶段框架,通过离线编译策略为可验证代码,并在运行时集成这些代码以确保Agent行为符合策略。
- 在$τ$-bench航空公司领域的实验表明,该方法在策略执行方面取得了初步的积极成果,为实际部署奠定了基础。
📝 摘要(中文)
大型语言模型(LLM)Agent为传统业务流程自动化提供了一种灵活且可扩展的替代方案,但难以可靠地遵循复杂的公司策略。本研究介绍了一种确定性的、透明的和模块化的框架,用于在Agent工作流中执行业务策略的遵守。我们的方法分两个阶段运行:(1)离线构建时阶段,将策略文档编译成与工具使用相关的可验证的保护代码;(2)运行时集成,其中这些保护代码确保在每个Agent动作之前都符合策略。我们在具有挑战性的$τ$-bench航空公司领域演示了我们的方法,在策略执行方面显示出令人鼓舞的初步结果,并进一步概述了实际部署的关键挑战。
🔬 方法详解
问题定义:现有基于LLM的Agent在执行业务流程时,难以保证其行为始终符合公司制定的复杂策略。传统业务流程自动化方法缺乏灵活性,而直接使用LLM Agent可能导致策略违规,例如未经授权的数据访问或不合规的操作。因此,如何确保Agent在执行任务的同时,严格遵守公司策略是一个关键问题。
核心思路:该论文的核心思路是将公司策略转化为可执行的“保护代码”,在Agent执行动作之前进行验证。通过这种方式,可以强制Agent的行为符合预定义的策略,从而避免违规行为。这种方法旨在实现确定性、透明性和模块化,以便于策略的更新和维护。
技术框架:该框架包含两个主要阶段:离线构建时阶段和运行时集成阶段。在离线构建时阶段,策略文档被编译成与特定工具使用相关的可验证保护代码。这些保护代码本质上是预先定义的规则,用于检查Agent的动作是否符合策略。在运行时集成阶段,Agent在执行每个动作之前,都会调用相应的保护代码进行验证。只有当验证通过时,Agent才能执行该动作。
关键创新:该方法的关键创新在于将策略执行问题转化为一个代码验证问题。通过将策略编译成可执行的保护代码,可以实现对Agent行为的精确控制。与传统的基于规则的系统相比,该方法更加灵活和可扩展,可以适应不断变化的业务策略。此外,该框架的模块化设计使得策略的更新和维护更加容易。
关键设计:该论文没有详细描述具体的参数设置、损失函数或网络结构,因为其重点在于框架的设计和策略的执行机制。关键设计在于如何将自然语言描述的策略转化为可执行的保护代码,以及如何在运行时高效地集成这些代码。具体实现可能涉及使用形式化方法、规则引擎或程序分析技术。
🖼️ 关键图片
📊 实验亮点
该论文在$τ$-bench Airlines领域进行了实验,初步结果表明该方法在策略执行方面具有良好的效果。虽然没有提供具体的性能数据,但实验验证了该框架的可行性和有效性,为实际部署奠定了基础。未来的研究可以进一步优化保护代码的生成和验证过程,以提高效率和准确性。
🎯 应用场景
该研究成果可应用于各种需要严格遵守策略的业务流程自动化场景,例如金融服务、医疗保健和合规性管理。通过确保Agent的行为符合公司策略,可以降低违规风险,提高运营效率,并增强客户信任。未来,该技术有望扩展到更复杂的策略和更广泛的应用领域。
📄 摘要(原文)
Large Language Model (LLM) agents hold promise for a flexible and scalable alternative to traditional business process automation, but struggle to reliably follow complex company policies. In this study we introduce a deterministic, transparent, and modular framework for enforcing business policy adherence in agentic workflows. Our method operates in two phases: (1) an offline buildtime stage that compiles policy documents into verifiable guard code associated with tool use, and (2) a runtime integration where these guards ensure compliance before each agent action. We demonstrate our approach on the challenging $τ$-bench Airlines domain, showing encouraging preliminary results in policy enforcement, and further outline key challenges for real-world deployments.