OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents

📄 arXiv: 2610.22234v1 📥 PDF

作者: Bowen Yang, Kaiming Jin, Zichen Ding, Zhenyu Wu, Zehao Li, Zhoumianze Liu, Kanzhi Cheng, Fangzhi Xu, Yanan Sun, Qiushi Sun, Yu Qiao

分类: cs.LG, cs.AI, cs.CV

发布日期: 2026-10-15

备注: Project page: https://os-copilot.github.io/OS-Helix/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出OS-Helix以解决GUI交互与代码执行统一的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 桌面自动化 多模态代理 GUI与代码协调 强化学习 应用-工件组合

📋 核心要点

  1. 现有方法在GUI与代码的协调上存在不足，无法有效实现桌面自动化。
  2. OS-Helix通过端到端训练，将GUI操作与代码执行统一在一个动作空间，提升了代理的执行效率。
  3. 在OSWorld-Verified基准上，OS-Helix-27B和OS-Helix-35B-A3B分别相较于基线提升了35.0%和33.7%。

📝 摘要（中文）

真实的桌面自动化既不是纯视觉的，也不是纯程序化的。代理必须理解用户界面，同时高效地操作文件、脚本和系统状态。然而，原生GUI与代码的协调无法通过简单的工具组合实现。我们提出OS-Helix，一个端到端训练的多模态计算代理，将GUI操作和代码执行统一在一个动作空间中。通过应用-工件组合和去耦的指令/评估生成管道，我们构建了所需的监督，并在实时桌面环境中通过在线强化学习进一步提升性能。实验结果表明，OS-Helix在多个基准上显著优于现有方法。

🔬 方法详解

问题定义：论文旨在解决桌面自动化中GUI交互与代码执行的统一问题。现有方法在这方面的痛点在于缺乏有效的协调机制，导致性能下降。

核心思路：OS-Helix通过端到端训练的方式，将GUI操作与代码执行整合到一个统一的动作空间中，利用高质量的混合数据进行训练，以实现更高效的桌面自动化。

技术框架：整体架构包括应用-工件组合模块，用于将桌面应用与真实文件工件配对，以及去耦的指令/评估生成管道，生成可验证的环境任务。政策初始通过过滤的混合数据进行SFT训练，随后在实时环境中通过在线强化学习进行优化。

关键创新：OS-Helix的核心创新在于其内部化的GUI与代码协调机制，以及通过Step-balanced GSPO优化策略，避免长代码操作主导优化过程。

关键设计：在训练过程中，采用了过滤的混合数据进行冷启动，并通过在线强化学习进一步提升性能，关键参数设置和损失函数设计确保了模型的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在OSWorld-Verified基准上，OS-Helix-27B和OS-Helix-35B-A3B分别实现了35.0%和33.7%的相对提升，而OS-Helix-27B-RL进一步提升了42.9%，成功率达到66.44%。这些结果表明了OS-Helix在桌面自动化领域的显著优势。

🎯 应用场景

OS-Helix的研究成果在桌面自动化、智能助手和人机交互等领域具有广泛的应用潜力。通过统一GUI与代码的执行，能够显著提升用户体验和操作效率，未来可能推动更多智能化办公工具的发展。

📄 摘要（原文）

Real desktop automation is neither purely visual nor purely programmatic. Agents must understand user-facing interfaces while efficiently manipulating files, scripts, and system state. However, native GUI/code coordination cannot be obtained by prompt-level tool composition. In our preliminary experiments, naively adding a code tool degrades a GUI agent, revealing that GUI/code routing must be internalized through training on high-quality hybrid data. We present OS-Helix, an end-to-end trained multimodal computer-using agent that unifies GUI actions and code execution in one action space. To construct the required supervision, we introduce application-artifact composition, pairing desktop applications with authentic file artifacts to instantiate executable Ubuntu states, and a decoupled instruction/evaluator generation pipeline that produces environment-grounded tasks whose final states can be verified regardless of the solution modality. We cold-start the policy with SFT on filtered hybrid data and further improve it through online RL in live desktop environments. For RL, we propose Step-balanced GSPO, which aggregates importance weight by action step rather than raw assistant tokens to prevent long code actions from dominating heterogeneous-action optimization. On OSWorld-Verified, OS-Helix-27B and OS-Helix-35B-A3B achieve relative improvements of 35.0% and 33.7% over their matched Qwen3.5 hybrid baselines, while OS-Helix-27B-RL further improves by 42.9% to reach 66.44% success. Ablations provide evidence consistent with contributions from learned GUI/code coordination, scalable verifiable supervision, and action step balanced optimization, while demonstrating cross-platform transfer on WindowsAgentArena. Our project homepage is at https://os-copilot.github.io/OS-Helix/.