Tactile: Giving Computer-Using Agents Hands and Feet
作者: Yong Liu, Zhenyi Zhong, Zhanpeng Shi
分类: cs.AI
发布日期: 2026-07-16
💡 一句话要点
提出Tactile以解决计算机代理操作不可靠问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 计算机代理 用户界面 自动化 无障碍技术 人机交互 OCR技术 操作系统
📋 核心要点
- 现有计算机代理在与桌面应用程序交互时，依赖脆弱的视觉和坐标预测，导致操作不可靠。
- Tactile通过整合操作系统的可访问性语义、OCR文本和视觉回退区域，提供更可靠的用户界面交互方式。
- 在macOSWorld风格的任务中，Tactile使Codex的成功率从41.1%提升至50.0%，在无障碍任务中提升幅度更显著。
📝 摘要（中文）
计算机使用代理正在成为能够操作软件的能力，但它们与桌面应用程序的接口仍然常常是脆弱的运动层：它们查看屏幕截图，预测坐标，点击，并希望可见状态按预期变化。本文提出了Tactile，一个开源工具层，为代理提供更可靠的“手和脚”用于桌面使用。Tactile将异构用户界面证据转换为基于动作的接口状态，代理通过观察-行动-验证循环操作，优先使用本地语义动作，并在可见文本是最佳证据时回退到基于OCR的坐标。实验结果表明，Tactile显著提升了Codex的成功率，表明可靠的计算机使用不仅需要更强的模型，还需要可重用的执行基础设施。
🔬 方法详解
问题定义：本文旨在解决计算机使用代理在与桌面应用程序交互时的不可靠性，现有方法依赖于屏幕截图和坐标预测，导致目标定位、动作执行和结果验证的模糊性。
核心思路：Tactile通过整合多种用户界面证据，将其转化为基于动作的接口状态，形成一个更可靠的操作框架，允许代理在执行任务时进行更有效的验证和回溯。
技术框架：Tactile的整体架构包括多个模块：首先是证据收集模块，获取操作系统的可访问性信息和OCR文本；其次是状态转换模块，将收集的证据转化为可执行的接口状态；最后是观察-行动-验证循环，确保代理能够在执行过程中进行实时反馈和调整。
关键创新：Tactile的核心创新在于将用户界面证据转化为语义化、可验证的对象，而不是简单的屏幕坐标，这一设计使得代理能够更可靠地执行任务并进行错误归因。
关键设计：在设计中，Tactile使用了多种证据来源，包括操作系统的可访问性语义和OCR技术，确保在不同情况下都能提供有效的操作支持，同时保持完整的操作记录以便于后续分析。
🖼️ 关键图片
📊 实验亮点
在实验中，Tactile显著提高了Codex的成功率，从41.1%提升至50.0%，在无障碍适应任务中更是从45.2%提升至55.3%。跨代理的96任务子集显示，Codex、Claude Code、OpenCode和Goose均取得了一致的性能提升，表明Tactile的有效性。
🎯 应用场景
Tactile的研究成果在多个领域具有潜在应用价值，尤其是在自动化办公、无障碍技术和人机交互等场景中。通过提供更可靠的操作接口，Tactile能够帮助开发更智能的计算机代理，提高工作效率和用户体验。此外，未来可能在机器人操作和智能家居等领域扩展其应用。
📄 摘要（原文）
Computer-use agents are becoming capable software operators, but their interface to desktop applications is still often a brittle motor layer: they look at screenshots, predict coordinates, click, and hope that the visible state changed as intended. This collapses target grounding, action execution, and outcome verification into a single ambiguous operation. We present Tactile, an open-source tool layer that gives agents a more reliable "hands and feet" for desktop use. Tactile converts heterogeneous UI evidence--operating-system accessibility semantics, OCR-grounded text, and visual fallback regions--into action-grounded interface states: compact target candidates with source labels, roles or text, state, geometry, executable affordances, and verification cues. Agents operate through an observe-ground-act-verify loop that prefers native semantic actions when available, falls back to OCR-grounded coordinates when visible text is the best evidence, and keeps full provenance for replay and failure attribution. On macOSWorld-style tasks, adding Tactile improves Codex Success@100 from 41.1% to 50.0% overall and from 45.2% to 55.3% on accessibility-adapted tasks; a 96-task cross-agent subset shows consistent gains across Codex, Claude Code, OpenCode, and Goose. These results suggest that reliable computer use requires not only stronger models, but also a reusable execution substrate that exposes software actions as semantic, verifiable, and auditable objects rather than anonymous screen coordinates.