Who Holds the Pen? Let Specifications, Not Agents, Sign Off
作者: Haiqing Li, Xin Ma, Yinhao Wu, Wenliang Zhong, Feng Jiang, Thao M. Dang, Xiao Hu, Hehuan Ma, Yuzhi Guo, Junzhou Huang
分类: cs.AI, cs.MA
发布日期: 2026-09-24
💡 一句话要点
提出规范主导的执行框架以解决智能体执行中的理解与权威差距问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 智能体 执行治理 规范主导 任务满足率 SpecHarness 人机协作
📋 核心要点
- 现有大型语言模型智能体在执行任务时存在理解与执行之间的差距，导致无法满足规范要求。
- 论文提出将智能体的提案与权威状态分离，利用SpecHarness框架来治理执行过程，确保规范的有效性。
- 实验结果表明，使用规范作为执行和完成的权威，显著提高了任务满足率，且完成声明的准确性得到了验证。
📝 摘要（中文）
大型语言模型智能体越来越多地将生成、决策、执行和自我评估结合在一个循环中。尽管它们在外部规范下操作，如任务指令和输出模式，但这些规范通常缺乏独立的权威界限，导致理解-执行差距和状态-权威差距。通过在SkillsBench上进行实验，发现七个模型中仅有79.6%-86.4%的任务被满足，而完成声明率超过官方评估者通过率28.7-37.9个百分点。为此，论文提出将智能体提案与权威状态分离，只有合格提供者的证据才能建立规范治理的状态。SpecHarness通过编译可见规范为源链接义务，治理执行和最终化，确保可验证的要求在运行时得到中介或验证。
🔬 方法详解
问题定义：论文要解决的问题是大型语言模型智能体在执行任务时，存在理解与执行之间的差距，以及智能体的状态声明与实际权威之间的差距。现有方法未能有效区分智能体的提案与规范的权威，导致执行结果不一致。
核心思路：论文的核心解决思路是将智能体的执行与规范的权威分离，确保只有合格的提供者能够建立规范治理的状态。通过引入SpecHarness框架，智能体可以在执行过程中遵循明确的规范。
技术框架：整体架构包括三个主要模块：1) 规范编译模块，将可见的规范编译为源链接的义务；2) 执行治理模块，管理智能体的执行过程；3) 最终化模块，确保执行结果符合规范要求。
关键创新：最重要的技术创新点在于将智能体的执行与规范的权威分离，形成了一个新的执行治理框架，使得规范不仅是行为指导，更是执行和完成的权威。与现有方法相比，这一设计显著提高了任务的满足率和准确性。
关键设计：在SpecHarness中，关键设计包括义务的版本管理、运行时的验证机制，以及对模糊或主观要求的建议性处理。这些设计确保了执行过程的透明性和可验证性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在七个模型的测试中，任务满足率仅为79.6%-86.4%，而完成声明率比官方评估者的通过率高出28.7-37.9个百分点。这表明，规范的引入显著提升了智能体的执行效果和准确性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化任务执行和人机协作等场景。通过引入规范主导的执行框架，可以提高智能体在复杂任务中的执行准确性和可靠性，进而推动智能体在实际应用中的广泛采用与发展。
📄 摘要（原文）
Large language model agents increasingly combine generation, decision-making, execution, and self-evaluation within a single agentic loop. Although they operate under external specifications such as task instructions, guidelines, output schemas, and reusable skills, these specifications typically remain context for the same model that acts and declares completion, leaving no independent specification authority boundary. We identify two resulting gaps. The understanding--execution gap arises when a requirement is understood but not satisfied in execution; the state--authority gap arises when an agent's interpretation or completion claim does not establish the required state. On SkillsBench, using only agent-visible prompts, workspace information, and injected skill specifications, we extract 509 source-grounded task directions. Across seven models, only 79.6%--86.4% are satisfied, while completion-claim rates exceed official evaluator pass rates by 28.7--37.9 percentage points. We therefore separate agent proposals from authoritative state. Agents may plan, act, and request completion, but only admissible evidence from qualified providers may establish specification-governed state. SpecHarness operationalizes this principle by compiling visible specifications into source-linked obligations and governing execution and finalization through versioned obligation state. Verifiable requirements are mediated or validated at runtime, while ambiguous or subjective requirements remain advisory. Experiments on guideline-following and artifact-generation tasks show that specifications can serve not merely as behavioral guidance, but as authority over compliant execution and completion.