VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

📄 arXiv: 2509.07553 📥 PDF

作者: Zheng Wu, Heyuan Huang, Xingyu Lou, Xiangmou Qu, Pengzhou Cheng, Zongru Wu, Weiwen Liu, Weinan Zhang, Jun Wang, Zhaoxiang Wang, Zhuosheng Zhang

分类: cs.CL

发布日期: 2026-04-06

💡 一句话要点

提出VeriOS，通过查询驱动的人机交互提升OS Agent在不可信环境下的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 操作系统代理 人机交互 查询驱动 强化学习 可信AI GUI自动化 多模态学习

📋 核心要点

  1. 现有OS Agent在真实世界中面临不可信环境的挑战，容易过度执行任务导致潜在风险。
  2. VeriOS提出查询驱动的人机交互框架，使Agent能在不确定时主动向人类寻求帮助，提升可靠性。
  3. 实验表明，VeriOS-Agent在不可信场景下显著提升性能，且不影响正常场景下的表现。

📝 摘要（中文）

随着多模态大型语言模型的快速发展，操作系统(OS)代理通过设备上的图形用户界面(GUI)自动执行任务的能力日益增强。然而，现有的大多数OS代理都是为理想化环境设计的，而真实世界的环境往往存在不可信的情况。为了降低在这种场景下过度执行的风险，我们提出了一个查询驱动的人机-代理-GUI交互框架，使OS代理能够决定何时向人类查询，以更可靠地完成任务。基于此框架，我们引入了VeriOS-Agent，这是一个值得信赖的OS代理，通过三阶段学习范式进行训练，该范式通过监督微调和群体相对策略优化来促进元知识的解耦和利用。具体而言，VeriOS-Agent在正常情况下自主执行操作，而在不可信的情况下主动查询人类。实验表明，VeriOS-Agent在最强的基线上，平均步进成功率提高了19.72％，且不影响正常性能。VeriOS-Agent显著提高了在不可信场景下的性能，同时在可信场景下保持了相当的性能。分析突出了VeriOS-Agent的合理性、泛化性和可扩展性。

🔬 方法详解

问题定义：现有操作系统代理（OS Agent）在理想环境下表现良好，但在真实世界中，由于环境的不可信性，容易出现过度执行任务的情况，导致潜在的风险。现有的Agent缺乏在不确定情况下寻求人类帮助的机制，难以保证任务完成的可靠性。

核心思路：VeriOS的核心思路是引入查询驱动的人机交互机制。Agent在执行任务的过程中，如果遇到不确定的情况，会主动向人类用户发起查询，获取更可靠的信息，从而避免过度执行任务带来的风险。这种设计使得Agent能够在可信和不可信的环境中自适应地工作。

技术框架：VeriOS框架包含三个主要阶段：1) 监督微调：利用标注数据训练Agent，使其具备基本的任务执行能力。2) 群体相对策略优化：通过强化学习，训练Agent在不同情境下选择是否查询人类的能力。3) 人机交互：Agent在执行任务过程中，根据自身的不确定性判断，决定是否向人类发起查询。整个框架旨在实现Agent在正常情况下自主执行，在不可信情况下主动寻求人类帮助。

关键创新：VeriOS的关键创新在于其查询驱动的人机交互机制。与传统的Agent不同，VeriOS-Agent能够主动识别环境的不确定性，并根据情况选择是否向人类查询。这种机制使得Agent能够更好地适应真实世界的复杂环境，提高任务完成的可靠性。

关键设计：VeriOS-Agent采用三阶段学习范式。在监督微调阶段，使用交叉熵损失函数训练Agent。在群体相对策略优化阶段，使用相对策略梯度算法，奖励Agent在不确定情况下主动查询人类的行为。人机交互阶段，Agent根据自身的不确定性估计，设定一个阈值，当不确定性超过阈值时，发起查询。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VeriOS-Agent在不可信场景下的平均步进成功率比最强的基线提高了19.72%，同时在可信场景下保持了相当的性能。这证明了VeriOS-Agent在提高任务可靠性的同时，没有牺牲正常情况下的效率。分析还表明，VeriOS-Agent具有良好的合理性、泛化性和可扩展性。

🎯 应用场景

VeriOS技术可应用于各种需要人机协作的操作系统自动化任务，例如智能家居控制、自动文档处理、以及需要高安全性的金融交易等。通过主动查询机制，VeriOS能够有效降低自动化系统在复杂或不可信环境下出错的风险，提升用户信任度，并最终推动操作系统代理在更广泛领域的应用。

📄 摘要（原文）

With the rapid progress of multimodal large language models, operating system (OS) agents become increasingly capable of automating tasks through on-device graphical user interfaces (GUIs). However, most existing OS agents are designed for idealized settings, whereas real-world environments often present untrustworthy conditions. To mitigate risks of over-execution in such scenarios, we propose a query-driven human-agent-GUI interaction framework that enables OS agents to decide when to query humans for more reliable task completion. Built upon this framework, we introduce VeriOS-Agent, a trustworthy OS agent trained with a three-stage learning paradigm that falicitate the decoupling and utilization of meta-knowledge by supervised fine-tuning and group relative policy optimization. Concretely, VeriOS-Agent autonomously executes actions in normal conditions while proactively querying humans in untrustworthy scenarios. Experiments show that VeriOS-Agent improves the average step-wise success rate by 19.72\% in over the strongest baselines, without compromising normal performance. VeriOS-Agent significantly improves performance in untrustworthy scenarios while maintaining comparable performance in trustworthy scenarios. Analysis highlights VeriOS-Agent's rationality, generalizability, and scalability. The codes, datasets and models are available atthis https URL.