Task-State Governance: A Virtual Machine for Verifiable and Recoverable GUI Agent Execution
作者: Wenkui Yang, Yiming Hao, Kai Zhou, Chengyu Pu, Yuzhe Zhang, Jie Cao, Jin Huang, Shuai Ma, Feng Tian
分类: cs.HC, cs.AI
发布日期: 2026-10-14
备注: Version 1, still under refinement
💡 一句话要点
提出任务状态治理以解决GUI代理执行的可验证性与可恢复性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 图形用户界面 任务状态治理 可恢复性 可验证性 智能代理
📋 核心要点
- 现有的GUI代理在执行过程中容易出现状态漂移，导致用户难以判断变化的影响，缺乏有效的恢复机制。
- 本文提出的任务状态治理通过将任务视为可编辑的合同，增强了用户对执行过程的控制和信任，提供了一种新的交互范式。
- 实验结果表明，该方法在合同合规性和用户恢复控制方面显著提升，用户体验得到了改善。
📝 摘要（中文）
图形用户界面（GUI）代理目前在真实应用中执行工作流，但当执行偏离时，用户必须判断哪些变化是不可接受的，哪些状态应保持不变，以及哪些状态可以恢复。现有的计划中心接口需要用户监督程序执行，但用户仍需面对应用状态的变化。本文提出了一种交互范式——任务状态治理，将任务表示为一个可编辑的合同，链接期望结果、必须保留的事实和观察到的应用状态。我们在TaskVM中实现了这一范式，该系统将实时状态投影到可编辑的任务控制中，执行用户编辑作为真实的界面操作，通过独立观察验证结果，并将每个操作标记为可逆、可补偿或不可逆。通过自动化合同基准、受控用户研究和开放的实时模型探索，该范式增强了合同合规性和用户的恢复控制与信任，同时保持了执行结果的一致性。
🔬 方法详解
问题定义：本文旨在解决现有GUI代理执行中状态漂移导致的可验证性和可恢复性不足的问题。用户在执行过程中面临的挑战是难以判断变化的影响及恢复机制的缺失。
核心思路：提出任务状态治理的交互范式，将任务视为一个可编辑的合同，链接期望结果、必须保留的事实和观察到的应用状态，从而增强用户对执行过程的控制。
技术框架：TaskVM系统的整体架构包括实时状态投影、可编辑任务控制、用户编辑执行、独立观察验证和操作标记等主要模块。用户可以通过编辑任务合同来直接影响执行过程。
关键创新：最重要的创新在于将任务表示为可编辑的合同，允许用户在执行过程中进行实时调整，并通过独立观察来验证结果。这与传统的计划中心接口有本质区别，后者往往缺乏灵活性和用户控制。
关键设计：在TaskVM中，设计了可编辑的任务控制界面，用户可以根据实时状态进行调整。每个操作被标记为可逆、可补偿或不可逆，确保用户在执行过程中的灵活性和安全性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，任务状态治理范式在合同合规性方面提升了用户的恢复控制和信任，执行结果保持一致性。具体而言，用户在控制恢复过程中的满意度提高了XX%，合同合规性提升了YY%。
🎯 应用场景
该研究的潜在应用领域包括自动化测试、用户界面设计和智能助手等。通过提供可验证和可恢复的执行机制，能够显著提升用户体验和信任度，未来可能在多种交互式系统中得到广泛应用。
📄 摘要（原文）
Graphical user interface (GUI) agents now execute workflows across real applications, but when execution drifts, users must determine what changed, what should have remained untouched, and what can still be recovered. Plan-centric interfaces leave users supervising procedure, but users live with changes to application state. We introduce task-state governance, an interaction paradigm that represents a task as an editable contract linking desired outcomes, facts that must be preserved, and observed application state. We instantiate this paradigm in TaskVM, which projects live state into editable task controls, executes user edits as genuine interface actions, verifies outcomes through independent observation, and marks each action as reversible, compensatable, or irreversible. Across an automated contract benchmark, a controlled user study, and an open live-model exploration, the paradigm strengthened contract compliance and users' recovery control and trust, while execution outcomes were held constant. Task contracts open a design space for governable agent interfaces.