Bounded Autonomy for Enterprise AI: Typed Action Contracts and Consumer-Side Execution
作者: Sarmad Sohail, Ghufran Haider
分类: cs.SE, cs.AI
发布日期: 2026-04-16
备注: 37 pages, 5 figures, 9 tables
💡 一句话要点
提出面向企业AI的Bounded Autonomy架构，保障LLM安全执行并提升效率。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 企业AI 有界自治 安全执行 自然语言接口
📋 核心要点
- 直接使用LLM操作企业软件存在安全风险，易产生未经授权的操作和错误。
- 提出Bounded Autonomy架构，通过类型化合约、权限控制和消费者端执行来约束LLM行为。
- 实验表明，该架构在保障安全的同时，比手动操作提速13-18倍，且优于无约束AI。
📝 摘要（中文）
大型语言模型越来越多地被用作企业软件的自然语言接口，但直接将其用作系统操作员仍然不安全。模型错误可能导致未经授权的操作、格式错误的请求、跨工作区执行和其他代价高昂的故障。本文认为这主要是执行架构问题。提出了一种有界自治架构，其中语言模型可以解释意图并提出操作，但所有可执行行为都受到类型化操作合约、权限感知能力暴露、范围上下文、副作用前的验证、消费者端执行边界以及可选的人工批准的约束。企业应用程序仍然是业务逻辑和授权的真实来源，而编排引擎则在显式发布的操作清单上运行。在已部署的多租户企业应用程序中，跨三种情况评估了该架构：手动操作、禁用安全层的无约束AI和完全有界自治。在跨越七个故障系列的25个场景试验中，有界自治系统完成了25个任务中的23个，且没有不安全的执行，而无约束配置仅完成了25个任务中的17个。两个错误的实体突变逃脱了所有消费者贡献的层；只有消除歧义和确认机制才能拦截此类。两种AI条件都比手动操作快13-18倍。至关重要的是，删除安全层会降低系统的实用性：结构化验证反馈指导模型在更少的轮次中纠正结果，而无约束系统则幻觉成功。代码在结构上强制执行了多个安全属性，并拦截了所有目标违规行为，而与模型输出无关。结果是一种实用的、已部署的架构，用于使不完善的语言模型在企业系统中具有操作实用性。
🔬 方法详解
问题定义：现有方法直接使用大型语言模型（LLM）作为企业软件的自然语言接口，存在严重的安全隐患。LLM的错误可能导致未经授权的操作、数据泄露、系统崩溃等问题，严重影响企业运营。现有的安全层往往不足以完全避免这些风险，且可能降低LLM的实用性。
核心思路：论文的核心思路是引入“Bounded Autonomy”（有界自治）架构，限制LLM的自主性，使其只能在预定义的、安全可控的范围内执行操作。通过将业务逻辑和授权控制保留在企业应用程序中，并使用显式发布的操作清单，确保LLM的行为受到严格约束。
技术框架：该架构包含以下主要模块：1) LLM接口：负责接收自然语言指令并将其转化为操作请求。2) 类型化操作合约：定义了每个操作的输入、输出和副作用，用于验证LLM生成的请求。3) 权限感知能力暴露：根据用户的权限，限制LLM可以访问的操作。4) 范围上下文：为LLM提供执行操作所需的上下文信息，防止跨工作区执行。5) 消费者端执行边界：在执行操作前进行验证，并在消费者端执行操作，避免直接操作企业核心系统。6) 人工审批（可选）：对于高风险操作，需要人工审批才能执行。
关键创新：最重要的技术创新在于将LLM的决策过程与实际执行过程分离，通过类型化操作合约和消费者端执行边界，对LLM的行为进行严格约束。这种架构能够在保障安全性的同时，充分利用LLM的自然语言理解能力，提高企业软件的使用效率。与现有方法相比，该架构更加注重安全性，并且能够更好地适应企业环境的需求。
关键设计：论文中没有详细描述具体的参数设置、损失函数或网络结构。关键设计在于类型化操作合约的定义，需要仔细考虑每个操作的输入、输出和副作用，以确保LLM生成的请求符合预期。此外，权限感知能力暴露的设计也至关重要，需要根据用户的角色和权限，限制LLM可以访问的操作。
📊 实验亮点
在多租户企业应用中的实验表明，Bounded Autonomy架构在25个场景试验中完成了23个任务，且没有不安全的执行，而无约束AI仅完成了17个任务。两种AI配置比手动操作提速13-18倍。移除安全层反而降低了系统实用性，结构化验证反馈能引导模型纠正错误，而无约束系统则会幻觉成功。
🎯 应用场景
该研究成果可广泛应用于企业级AI应用，例如自动化客户服务、智能流程自动化、AI驱动的IT运维等。通过保障LLM安全可控地执行任务，企业可以更放心地利用AI技术提高效率、降低成本，并提升用户体验。未来，该架构有望成为企业AI应用的标准范式。
📄 摘要（原文）
Large language models are increasingly used as natural-language interfaces to enterprise software, but their direct use as system operators remains unsafe. Model errors can propagate into unauthorized actions, malformed requests, cross-workspace execution, and other costly failures. We argue this is primarily an execution architecture problem. We present a bounded-autonomy architecture in which language models may interpret intent and propose actions, but all executable behavior is constrained by typed action contracts, permission-aware capability exposure, scoped context, validation before side effects, consumer-side execution boundaries, and optional human approval. The enterprise application remains the source of truth for business logic and authorization, while the orchestration engine operates over an explicit published actions manifest. We evaluate the architecture in a deployed multi-tenant enterprise application across three conditions: manual operation, unconstrained AI with safety layers disabled, and full bounded autonomy. Across 25 scenario trials spanning seven failure families, the bounded-autonomy system completed 23 of 25 tasks with zero unsafe executions, while the unconstrained configuration completed only 17 of 25. Two wrong-entity mutations escaped all consumer-contributed layers; only disambiguation and confirmation mechanisms intercept this class. Both AI conditions delivered 13-18x speedup over manual operation. Critically, removing safety layers made the system less useful: structured validation feedback guided the model to correct outcomes in fewer turns, while the unconstrained system hallucinated success. Several safety properties are structurally enforced by code and intercepted all targeted violations regardless of model output. The result is a practical, deployed architecture for making imperfect language models operationally useful in enterprise systems.