Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents

📄 arXiv: 2609.27307v1 📥 PDF

作者: Yan Zhang, Daiqing Wu, Huawen Shen, Liang Li, Gang Cao, Zhi Gong, Wei Dai, Xiaode Zhang, Can Ma, Yu Zhou

分类: cs.AI

发布日期: 2026-09-23

备注: Under Review

💡 一句话要点

提出GUI-SD-v2以解决多轮GUI交互中的自蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图形用户界面 自蒸馏 多轮交互 深度学习 智能代理

📋 核心要点

  1. 现有的在线自蒸馏方法在多轮GUI代理中面临自教师能力有限和指导不足的挑战。
  2. 本文提出GUI-SD-v2，通过两阶段训练框架增强特权跟随能力，并选择性蒸馏推理和记忆指导。
  3. 在AndroidWorld和MobileWorld基准上，GUI-SD-v2在Pass@1和Pass@3成功率上显著优于现有方法。

📝 摘要（中文）

图形用户界面（GUI）代理通过与软件环境的多轮交互来实现复杂用户指令的执行，这要求逐步推理和长期记忆以指导行动和保留任务相关信息。近期的在线自蒸馏（OPSD）方法在GUI基础任务上表现出色，但在多轮GUI代理中扩展现有OPSD方法受到自教师能力和指导不足的限制。本文提出GUI-SD-v2，扩展OPSD至多轮GUI交互，并通过两阶段训练框架解决关键限制。具体而言，GUI-SD-v2通过联合优化有无特权指导的回放来增强特权跟随能力，并通过特权条件自教师选择性蒸馏逐步推理和记忆指导，支持后续交互的行动决策和任务信息保留。在AndroidWorld和MobileWorld两个代表性基准上的广泛实验表明，GUI-SD-v2在Pass@1和Pass@3成功率上均优于现有OPSD基线和最新方法。

🔬 方法详解

问题定义：本文旨在解决现有在线自蒸馏方法在多轮GUI交互中的不足，特别是自教师的特权跟随能力有限和指导不足的问题。

核心思路：提出GUI-SD-v2，通过两阶段训练框架来增强特权跟随能力，并通过特权条件自教师进行选择性蒸馏，以支持后续交互中的推理和记忆。

技术框架：整体架构包括两个主要阶段：第一阶段联合优化有无特权指导的回放，第二阶段通过特权条件自教师进行逐步推理和记忆的蒸馏。

关键创新：最重要的创新在于通过两阶段训练框架有效提升了特权跟随能力，并且选择性蒸馏推理和记忆指导，显著提高了多轮交互的性能。

关键设计：在参数设置上，采用了特权条件自教师的设计，损失函数考虑了推理和记忆的选择性蒸馏，网络结构上优化了回放机制以增强特权跟随能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在AndroidWorld和MobileWorld基准上，GUI-SD-v2在Pass@1和Pass@3成功率上均显著优于现有的OPSD基线，表现出更强的多轮交互能力，具体提升幅度未知，显示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化测试和人机交互等场景，能够提升GUI代理在复杂任务中的执行效率和准确性。未来，该方法可能推动更智能的交互系统的发展，使得用户与软件的交互更加自然和高效。

📄 摘要（原文）

Graphical User Interface (GUI) agents enable the fulfillment of complex user instructions through multi-turn interactions with software environments, requiring step-wise reasoning and long-horizon memory to guide actions and retain task-relevant information, respectively. Recent on-policy self-distillation (OPSD) methods have achieved strong performance on GUI grounding, a foundational subtask for GUI agents, owing to dense token-level supervision from privilege-conditioned self-teachers. However, extending existing OPSD methods to multi-turn GUI agents is hindered by self-teachers' limited privilege-following ability and insufficient privileged guidance. In this paper, we introduce GUI-SD-v2, the next version of GUI-SD, which extends OPSD from GUI grounding to multi-turn GUI interaction and addresses key limitations through a two-stage training framework. Specifically, GUI-SD-v2 first strengthens privilege following by jointly optimizing rollouts with and without privileged guidance from the same GUI states. Furthermore, it selectively distills step-specific reasoning and memory guidance through a privilege-conditioned self-teacher, supporting action decisions and the retention of task-relevant information for subsequent interactions. Extensive experiments on two representative GUI agent benchmarks, AndroidWorld and MobileWorld, show that GUI-SD-v2 compares favorably with existing OPSD baselines while consistently outperforming the evaluated state-of-the-art methods in both Pass@1 and Pass@3 success rates. Code and training data will be publicly released.