ComputerSD: Online Self-Distillation from Real-Time Feedback for Computer-Use Agents

📄 arXiv: 2609.40253v1 📥 PDF

作者: Yong Du, Tongbo Chen, Zhengxi Lu, Yizhou Liu, Bofan Chen, Tao Jiang, Wenhao Xu, Yongliang Shen

分类: cs.CV, cs.AI

发布日期: 2026-09-30

备注: https://github.com/ZJU-REAL/ComputerSD

💡 一句话要点

提出ComputerSD以解决计算机使用代理的在线自蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线自蒸馏 计算机使用代理 实时反馈 策略学习 轨迹级优化 GUI分析器 深度学习 人机交互

📋 核心要点

  1. 现有方法在在线训练中主要依赖稀疏的结果奖励，缺乏对中间动作的有效监督，导致学习效率低下。
  2. ComputerSD通过将实时反馈转化为策略学习的指导，结合了在线自蒸馏和轨迹级优化，提升了学习的有效性。
  3. 在OSWorld-Verified上，ComputerSD在Qwen3-VL-8B-Thinking和EvoCUA-8B模型上分别提高了1.9和4.1个百分点，验证了其广泛适用性。

📝 摘要（中文）

在线训练使计算机使用代理（CUAs）能够通过与可执行环境的交互进行改进。然而，现有方法主要依赖稀疏的结果奖励，无法为中间动作提供监督。论文提出的在线自蒸馏方法ComputerSD，将执行的GUI过渡的实时反馈转化为策略学习的指导。通过精细调整的GUI分析器，ComputerSD在每个动作后生成指导和步骤级价值评分，优化了token级的自蒸馏和轨迹级的GRPO。实验结果表明，ComputerSD在多个基准上显著优于仅依赖结果的GRPO，展示了从实时反馈中学习的有效性。

🔬 方法详解

问题定义：论文旨在解决计算机使用代理（CUAs）在在线训练中缺乏有效中间监督的问题。现有方法依赖稀疏的结果奖励，导致学习过程中的指导不够精准。

核心思路：ComputerSD的核心思路是利用实时反馈，将执行的GUI过渡信息转化为策略学习的指导信号。通过这种方式，代理能够在每个动作后获得更为细致的反馈，从而提高学习效率。

技术框架：ComputerSD的整体架构包括一个精细调整的GUI分析器，该分析器在每个动作后生成指导和步骤级价值评分。系统同时优化token级的在线自蒸馏（OPSD）和轨迹级的广义策略优化（GRPO），实现完全异步的训练框架。

关键创新：ComputerSD的主要创新在于将实时反馈有效整合进在线自蒸馏过程中，解决了固定指导与当前状态不匹配的问题，并避免了指导引起的概率偏移与步骤级正确性之间的冲突。

关键设计：在设计上，ComputerSD采用了精细调整的GUI分析器，生成的指导信号提供了特权上下文，而步骤级评分则调节了OPSD信号的输出。此外，损失函数的设计也考虑了如何平衡不同层次的学习信号。

📊 实验亮点

实验结果显示，ComputerSD在OSWorld-Verified基准上，相较于仅依赖结果的GRPO，分别在Qwen3-VL-8B-Thinking和EvoCUA-8B模型上提高了1.9和4.1个百分点。这些结果表明，实时反馈的在线自蒸馏方法在提升CUAs学习效率方面具有显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化办公软件和人机交互系统等。通过实时反馈的在线自蒸馏，CUAs能够在复杂的执行环境中不断优化其决策能力，提升用户体验。未来，该方法有望推广到更多需要实时学习和适应的智能系统中。

📄 摘要（原文）

Online training enables computer-use agents (CUAs) to improve through interaction with executable environments. However, existing methods primarily rely on sparse outcome rewards, which provide no supervision for intermediate actions. On-policy self-distillation (OPSD) offers token-level learning signals through privileged rescoring, but directly applying it to CUA online training presents two challenges: fixed guidance may become misaligned with the student's current state, and guidance-induced probability shifts may conflict with step-level correctness. We introduce ComputerSD, an online self-distillation method for CUAs that converts real-time feedback from executed GUI transitions into guidance for policy learning. A fine-tuned GUI analyzer produces guidance and a step-level value score after each action; the guidance provides privileged context, while the score regulates the resulting OPSD signals. ComputerSD jointly optimizes token-level OPSD and trajectory-level GRPO in a fully asynchronous training framework. On OSWorld-Verified, ComputerSD outperforms outcome-only GRPO by 1.9 and 4.1 percentage points on the general-purpose Qwen3-VL-8B-Thinking and specialized EvoCUA-8B backbones, respectively. Evaluation in out-of-distribution settings further supports the generalizability of ComputerSD. These results demonstrate the effectiveness of learning from real-time feedback through online self-distillation for CUAs.