Tandem: Serving Hybrid Linear-Attention GUI Agents on Mobile NPUs

📄 arXiv: 2610.26660v1 📥 PDF

作者: Zhuomin Chen, Jingchao Ni, Xu Zheng, Yong Chen, Mo Sha, Wei Cheng, Dongsheng Luo

分类: cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出Tandem以提升移动NPU上混合线性注意力GUI代理的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 移动NPU 混合线性注意力 GUI代理 模型优化 能效提升 状态重用 延迟降低

📋 核心要点

  1. 现有方法在移动NPU上执行GUI代理时，模型延迟随着每次操作而累积，影响用户体验。
  2. Tandem通过保存递归状态并允许后续请求重用上下文，优化了模型的执行效率，减少了延迟。
  3. 在Snapdragon 8 Elite上，Tandem实现了文本步骤延迟减少30%和能耗降低33%的显著提升。

📝 摘要（中文）

智能手机GUI代理通过反复读取屏幕并请求模型执行下一步操作来完成任务。移动神经处理单元（NPU）支持本地执行，保持屏幕内容在手机上，但模型延迟在每次操作中累积。混合线性注意力模型减少了内存需求，但重用其递归状态需要在适当的输入位置进行检查点。Tandem通过保存连续提示的递归状态，允许后续请求重用先前处理的上下文，显著降低了延迟和能耗。实验结果显示，Tandem在Snapdragon 8 Elite上相较于最快的NPU配置，文本步骤延迟减少30%，能耗降低33%。

🔬 方法详解

问题定义：本论文旨在解决在移动NPU上执行GUI代理时，由于模型延迟累积导致的性能瓶颈。现有方法在处理连续提示时，无法有效重用先前的上下文，导致效率低下。

核心思路：Tandem的核心思路是保存递归状态，在连续提示发生分歧时允许后续请求重用之前处理的上下文，从而减少模型延迟和能耗。

技术框架：Tandem的整体架构包括状态保存模块、上下文重用机制和验证内核。状态保存模块在连续提示分歧时保存递归状态，上下文重用机制允许后续请求利用这些状态，验证内核则负责读取每个权重块以处理所有提议的令牌。

关键创新：Tandem的主要创新在于其状态保存和上下文重用机制，能够在不卸载模型的情况下，释放NPU的功耗投票，从而优化了能效和响应时间。这与传统方法的检查点策略形成鲜明对比。

关键设计：在设计中，Tandem保持大部分预填充在矩阵单元上，并通过短的每令牌尾部生成回滚状态。此外，验证内核的设计使得每个权重块只需读取一次，进一步提高了效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在Snapdragon 8 Elite上，Tandem相较于最快的NPU配置，文本步骤延迟减少30%，截图延迟减少16%。此外，Tandem还实现了文本步骤能耗降低33%，并将模型加载时的待机功耗从0.76 W降低至0.22 W，显示出显著的性能提升。

🎯 应用场景

Tandem的研究成果具有广泛的应用潜力，尤其是在移动设备上执行复杂任务的智能助手和GUI代理。通过优化模型的执行效率，Tandem能够提升用户体验，降低能耗，适用于各种移动应用场景，如智能家居控制、移动办公和在线购物等。未来，随着移动NPU技术的发展，Tandem的设计理念可能会被更广泛地应用于其他智能设备中。

📄 摘要（原文）

Smartphone GUI agents complete tasks in mobile apps by repeatedly reading the screen and asking a model for the next action. Mobile neural processing units (NPUs) enable local execution, keeping screen contents on the phone, but model latency accumulates with every action. Hybrid linear attention models reduce memory requirements, yet reusing their recurrent state requires checkpoints at the appropriate input positions. Agent requests retain instructions but rewrite recent history, so checkpoint policies designed for chat continuation can miss reusable prefixes. Retaining rollback states for speculative decoding can also move prompt processing off the NPU's matrix unit, adding overhead that outweighs decoding savings on short action outputs. A loaded model can further hold the NPU awake between tasks. We present Tandem, a runtime for hybrid GUI agents on mobile NPUs. Tandem saves recurrent state where consecutive prompts diverge, allowing later requests to reuse previously processed context. It keeps most prefill on the matrix unit and produces rollback states through a short per-token tail. Its verification kernel reads each weight block once for all proposed tokens. Between request bursts, Tandem releases NPU power votes without unloading the model. We implement Tandem in llama.cpp and evaluate it on recorded agent interactions across two Snapdragon generations. On a Snapdragon 8 Elite, Tandem reduces per-step latency by 30% for text-based screen descriptions and 16% for screenshots relative to llama.cpp's fastest NPU configuration, reduces energy per text step by 33%, and lowers standby power with the model loaded from 0.76 to 0.22 W.