Focused Omni-Modal GUI Agents
作者: Fuyao Zhang, Wenwen He, Jiaming Zhang, Yurong Hao, Xuan Wang, Guowei Guan, Che Wang, Longtao Huang, Wei Yang Bryan Lim
分类: cs.CV
发布日期: 2026-10-19
💡 一句话要点
提出Focused Perception以解决多模态GUI代理的顺序干扰问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态输入 图形用户界面 顺序干扰 动态优先级 Focused Perception 智能助手 人机交互
📋 核心要点
- 现有方法在处理多模态输入时未能有效区分信息的相关性，导致顺序干扰和轨迹漂移。
- 论文提出了FocusGUI，一个动态优先考虑多模态通道的轻量级适配器，旨在实现Focused Perception。
- 实验结果显示，FocusGUI在多个多模态主干上显著提升了类型匹配和精确匹配的性能，验证了其有效性。
📝 摘要（中文）
图形用户界面（GUI）代理越来越多地在流式多模态观察中进行操作，包括屏幕截图、音频、视频、交互历史和设备状态。然而，均匀暴露完整上下文会忽视相关性是瞬时和稀疏的：决定一个动作的信号在下一个步骤中可能变得杂乱。由于执行的动作反馈到上下文中，这些错误会累积成顺序干扰，导致代理不可逆转的轨迹漂移。我们将这一基本需求表述为Focused Perception：一种步骤自适应、动作充足且非侵入性的表示。我们在FocusGUI中实现了这一点，它是一个轻量级适配器，动态优先考虑多模态通道。FocusGUI仅通过动作监督进行训练，无需模态相关标签或主干微调。通过四个多模态主干，它在冻结主干的基础上，整体类型匹配提高了33.2%，精确匹配提高了3.0倍，类型匹配比现有最强增强方法提高了30.1%。
🔬 方法详解
问题定义：本论文旨在解决多模态GUI代理在处理流式观察时的顺序干扰问题。现有方法未能有效处理信息的相关性，导致代理在执行动作后出现不可逆的轨迹漂移。
核心思路：论文提出Focused Perception的概念，强调在每个决策步骤中动态优先考虑最相关的多模态信息。FocusGUI通过压缩相关证据并注入到解码器的嵌入中，指导模型的注意力，而不改变其原有参数空间。
技术框架：FocusGUI的整体架构包括输入多模态数据的处理模块、动态优先级分配模块和嵌入注入模块。该框架通过对输入进行压缩和优先级排序，确保模型关注最相关的信息。
关键创新：FocusGUI的主要创新在于其动态优先考虑多模态通道的能力，能够在不同步骤中适应性地调整输入信息的权重。这与现有方法的均匀处理方式形成鲜明对比。
关键设计：FocusGUI的设计包括轻量级的适配器结构，采用简单的损失函数进行训练，且不需要模态相关标签或主干微调，从而降低了训练复杂性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FocusGUI在四个多模态主干上，整体类型匹配提高了33.2%，精确匹配提高了3.0倍，类型匹配比现有最强增强方法提高了30.1%。这些结果验证了FocusGUI在多模态处理中的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和人机交互系统等。通过提高多模态输入的处理效率，FocusGUI能够显著提升用户体验和系统响应速度，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Graphical User Interface (GUI) agents increasingly act over streaming omni-modal observations spanning screenshots, audio, video, interaction history, and device states. However, exposing this complete context uniformly at every step ignores that relevance is transient and sparse: the signal determining one action can become clutter at the next. Because executed actions feed back into the context, these errors compound into Sequential Distraction, driving the agent into irreversible trajectory drift. We formulate the underlying requirement as Focused Perception: a representation that is step-adaptive, action-sufficient, and non-intrusive. We realize this in FocusGUI, a lightweight adapter that dynamically prioritizes multimodal channels against a step-specific decision reference. Instead of uniformly processing all inputs, it compresses the most relevant evidence into a compact latent and subtly injects it into the frozen decoder's embeddings, guiding the model's attention without altering its native parameter space. FocusGUI trains from action supervision alone, requiring neither modality-relevance labels nor backbone fine-tuning. Across four omni-modal backbones, it raises overall Type Match by +33.2 and Exact Match by 3.0 times over the frozen backbone on average, and Type Match by +30.1 over the strongest existing enhancement method.