VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

📄 arXiv: 2509.07553v2 📥 PDF

作者: Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

分类: cs.CL

发布日期: 2025-09-09 (更新: 2025-09-17)

🔗 代码/项目: GITHUB

💡 一句话要点

VeriOS：面向可信OS代理的查询驱动人-机-GUI主动交互框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 操作系统代理 人机交互 可信AI 查询驱动 GUI自动化

📋 核心要点

  1. 现有OS代理在理想环境下表现良好，但在真实世界中面临不可信环境的挑战，存在过度执行的风险。
  2. VeriOS提出查询驱动的人-机-GUI交互框架，使OS代理在不确定时主动向人类请求帮助，提升可靠性。
  3. VeriOS-Agent在不可信场景下，步进成功率提升20.64%，同时保持正常性能，展示了其有效性。

📝 摘要（中文）

随着多模态大型语言模型的快速发展，操作系统(OS)代理越来越能够通过设备上的图形用户界面(GUI)自动执行任务。然而，现有的大多数OS代理都是为理想化环境设计的，而真实世界的环境往往存在不可信的情况。为了降低在这种场景下过度执行的风险，我们提出了一种查询驱动的人-机-GUI交互框架，该框架使OS代理能够决定何时向人类查询以获得更可靠的任务完成。基于此框架，我们引入了VeriOS-Agent，这是一个可信的OS代理，它使用两阶段学习范式进行训练，从而促进元知识的解耦和利用。具体而言，VeriOS-Agent在正常情况下自主执行操作，而在不可信的情况下主动查询人类。实验表明，在不可信场景下，VeriOS-Agent的平均步进成功率比最先进的方法提高了20.64％，且不影响正常性能。分析突出了VeriOS-Agent的合理性、泛化性和可扩展性。代码、数据集和模型可在https://github.com/Wuzheng02/VeriOS上找到。

🔬 方法详解

问题定义：现有操作系统代理在理想化的环境中表现良好，但当面对真实世界中不可信的环境时，容易出现过度执行的问题。这些代理缺乏判断环境风险的能力，无法在必要时寻求人类的帮助，从而导致任务失败或产生不良后果。因此，如何让OS代理在不确定性较高的情况下，安全可靠地完成任务是一个关键问题。

核心思路：VeriOS的核心思路是赋予OS代理主动查询人类的能力。当代理判断当前环境的风险较高，或者对下一步行动的把握不足时，它会主动向人类用户发起查询，请求确认或指导。这种设计借鉴了人类在复杂任务中的协作方式，通过引入人类的判断和知识，提高了代理的可靠性和安全性。

技术框架：VeriOS框架包含以下几个主要模块：1) 环境感知模块：负责感知当前环境的状态，例如GUI元素、用户输入等。2) 风险评估模块：根据环境状态和历史经验，评估当前任务的风险程度。3) 决策模块：根据风险评估结果，决定是自主执行下一步行动，还是向人类发起查询。4) 人机交互模块：负责与人类用户进行交互，接收用户的反馈和指导。5) 知识更新模块：根据用户的反馈，更新代理的知识库，提高其未来的决策能力。

关键创新：VeriOS的关键创新在于其查询驱动的交互模式。与传统的自主执行模式不同，VeriOS允许代理在必要时主动寻求人类的帮助，从而提高了其在不可信环境下的可靠性。此外，VeriOS-Agent采用两阶段学习范式，解耦并利用元知识，提升了模型的泛化能力。

关键设计：VeriOS-Agent使用两阶段学习范式。第一阶段，模型学习如何在不同场景下执行任务。第二阶段，模型学习何时应该向人类发起查询。风险评估模块可能使用贝叶斯网络或深度学习模型来预测任务的成功率，并根据预测结果设置一个阈值来触发查询。人机交互模块的设计需要考虑用户体验，例如提供清晰的问题描述和易于理解的选项。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在不可信场景下，VeriOS-Agent的平均步进成功率比最先进的方法提高了20.64％，同时保持了在正常场景下的性能。这表明VeriOS框架能够有效地提高OS代理在复杂环境下的可靠性，并且具有良好的泛化能力。

🎯 应用场景

VeriOS框架可应用于各种需要人机协作的操作系统代理场景，例如自动化办公、智能家居控制、辅助驾驶等。通过引入人类的判断和知识，可以提高代理的可靠性和安全性，降低出错的风险。未来，VeriOS有望成为构建可信AI系统的重要组成部分。

📄 摘要（原文）

With the rapid progress of multimodal large language models, operating system (OS) agents become increasingly capable of automating tasks through on-device graphical user interfaces (GUIs). However, most existing OS agents are designed for idealized settings, whereas real-world environments often present untrustworthy conditions. To mitigate risks of over-execution in such scenarios, we propose a query-driven human-agent-GUI interaction framework that enables OS agents to decide when to query humans for more reliable task completion. Built upon this framework, we introduce VeriOS-Agent, a trustworthy OS agent trained with a two-stage learning paradigm that falicitate the decoupling and utilization of meta-knowledge. Concretely, VeriOS-Agent autonomously executes actions in normal conditions while proactively querying humans in untrustworthy scenarios. Experiments show that VeriOS-Agent improves the average step-wise success rate by 20.64\% in untrustworthy scenarios over the state-of-the-art, without compromising normal performance. Analysis highlights VeriOS-Agent's rationality, generalizability, and scalability. The codes, datasets and models are available at https://github.com/Wuzheng02/VeriOS.