Beyond Approved Actions: Runtime Validation of Persistent Outcomes in Agent Workflows
作者: Haoran Zhang, Hengtong Zhang, Zhiyu Liang, Yu Yan, Decheng Zuo, Hongzhi Wang
分类: cs.SE, cs.AI
发布日期: 2026-09-25
备注: 22 pages including 7 pages of supplementary material. Submitted to IEEE Transactions on Software Engineering
💡 一句话要点
提出EffectMatch以解决代理工作流中的持久结果验证问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 持久结果验证 代理工作流 运行时监控 数据一致性 错误传播防止
📋 核心要点
- 现有方法无法有效验证代理工作流中的持久结果，导致未批准的结果被错误接受并传播。
- 论文提出EffectMatch，通过在受控执行边界内收集持久变化并与批准内容进行比较，确保结果的有效性。
- 在206个公共业务任务的评估中，EffectMatch成功保留了所有干净执行，阻止了所有错误提交，显示出其有效性。
📝 摘要（中文）
随着大型语言模型代理在软件系统中的应用日益广泛，它们不仅生成文本，还能更改数据库和在线服务。然而，已批准的数据库更新可能成功，但仍会留下未批准的通知，因为执行可能产生超出请求更改的持久效果。目前的安全措施只能批准某个操作或记录其后果，但在继续执行之前未检查持久结果，可能导致未批准的结果被视为成功并传播到后续步骤。本文提出EffectMatch，一个运行时系统，收集受控执行边界内的持久变化，并将其与应用程序当前状态和执行所批准的内容进行比较。这种比较控制提交和后续执行。在对206个公共业务任务的比较评估中，EffectMatch保留了所有干净的执行，并阻止了所有测试中的错误提交。
🔬 方法详解
问题定义：本文解决的问题是代理工作流中持久结果的验证，现有方法无法有效检查执行后的结果是否与批准一致，导致潜在的错误传播。
核心思路：EffectMatch的核心思路是通过在受控执行环境中监控持久变化，并将其与应用程序的批准内容进行实时比较，从而确保只有符合批准条件的结果才能继续执行。
技术框架：EffectMatch的整体架构包括三个主要模块：1) 受控执行环境，负责监控和记录持久变化；2) 结果比较模块，实时将持久变化与批准内容进行对比；3) 提交控制模块，基于比较结果决定是否允许提交和后续执行。
关键创新：EffectMatch的主要创新在于其实时监控和比较机制，能够有效阻止未批准结果的接受和传播，这与传统方法仅依赖于事后记录的方式有本质区别。
关键设计：在设计中，EffectMatch采用了动态监控技术，确保在执行过程中实时捕捉变化，并使用高效的比较算法来快速判断结果的有效性。
🖼️ 关键图片
📊 实验亮点
在对206个公共业务任务的评估中，EffectMatch成功保留了所有干净的执行，阻止了所有测试中的错误提交，显示出其在防止持久结果错误传播方面的有效性。六个20次的消融实验揭示了每个移除机制导致的失败，进一步验证了其设计的必要性。
🎯 应用场景
EffectMatch的研究成果在多个领域具有潜在应用价值，尤其是在金融、医疗和在线服务等需要严格数据管理和验证的场景。通过确保操作结果的合规性，该技术能够提高系统的安全性和可靠性，减少因错误操作导致的损失。未来，EffectMatch还可以与其他智能系统集成，进一步提升自动化水平和决策质量。
📄 摘要（原文）
Large language model agents increasingly act on software systems, no longer merely generating text but also changing databases and online services. However, an approved database update may succeed yet leave an unapproved notification because execution can produce persistent effects beyond the requested change. Current safeguards can approve an action or record its aftermath, but without checking the persistent result before continuation, an unapproved outcome can be accepted as success and propagated to later steps. We present EffectMatch, a runtime that collects persistent changes within a controlled execution boundary and compares them with what the application approved for the current state and execution. The comparison governs commit and dependent execution. In comparative evaluation on 206 public business tasks, EffectMatch preserved all clean executions and prevented all tested incorrect commits. Six 20-run ablations exposed the failure caused by each removed mechanism, while 80 task-topology cases preserved truthful handoffs and blocked invalid continuation. Together, these results show that EffectMatch blocks the silent acceptance and downstream propagation of persistent outcomes inconsistent with application approval.