AXNav: Replaying Accessibility Tests from Natural Language
作者: Maryam Taeb, Amanda Swearngin, Eldon Schoop, Ruijia Cheng, Yue Jiang, Jeffrey Nichols
分类: cs.HC, cs.AI
发布日期: 2023-10-03 (更新: 2024-03-05)
备注: Accepted into Conference on Human Factors in Computing Systems (CHI) 2024, 22 pages, 7 figures
💡 一句话要点
提出AXNav以解决无障碍测试的自动化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 无障碍测试 自然语言处理 自动化测试 大型语言模型 用户体验 质量保证 UI理解
📋 核心要点
- 现有的无障碍测试方法依赖手动操作，效率低下且难以安排，无法满足快速开发的需求。
- 本文提出了一种基于自然语言的无障碍测试系统，利用大型语言模型和UI理解模型自动执行测试。
- 用户研究显示，参与者认为该工具在无障碍测试中非常有用，且测试效果与手动测试相似。
📝 摘要（中文）
开发者和质量保证测试人员通常依赖手动测试来验证产品生命周期中的无障碍功能。然而，手动测试往往繁琐且难以安排。本文探索了基于自然语言的无障碍测试工作流程，构建了一个系统，该系统接受手动无障碍测试作为输入，并结合大型语言模型和像素级UI理解模型执行测试，生成可导航的视频。通过对10名无障碍QA专业人员的用户研究评估，结果表明该工具在实际工作中非常有用，并且测试效果与手动测试相似。
🔬 方法详解
问题定义：本文旨在解决无障碍测试中手动操作的低效率和难以安排的问题。现有方法在快速开发环境中难以满足无障碍功能的验证需求。
核心思路：论文提出了一种结合大型语言模型和像素级UI理解模型的自动化测试系统，能够将自然语言描述的测试转化为可执行的测试流程。
技术框架：系统整体架构包括输入模块（接收自然语言测试描述）、处理模块（利用LLM和UI理解模型执行测试）、输出模块（生成可导航的视频）。
关键创新：最重要的技术创新在于将自然语言处理与UI理解相结合，实现了无障碍测试的自动化，显著提高了测试效率。
关键设计：系统设计中采用了特定的启发式算法来检测无障碍问题，如文本大小未随大文本设置增加等，并生成章节化的视频以便于QA测试人员查看。
🖼️ 关键图片
📊 实验亮点
实验结果显示，参与者认为AXNav工具在其当前工作中非常有用，且测试效果与手动测试相似。用户研究表明，参与者对工具的使用体验给予了积极评价，验证了其在无障碍测试中的有效性。
🎯 应用场景
该研究的潜在应用领域包括软件开发中的无障碍功能测试，尤其是在快速迭代的开发环境中。通过自动化测试流程，开发团队可以更高效地确保产品的无障碍性，从而提升用户体验和满足合规要求。未来，该技术可能扩展到其他领域的自动化测试中。
📄 摘要（原文）
Developers and quality assurance testers often rely on manual testing to test accessibility features throughout the product lifecycle. Unfortunately, manual testing can be tedious, often has an overwhelming scope, and can be difficult to schedule amongst other development milestones. Recently, Large Language Models (LLMs) have been used for a variety of tasks including automation of UIs, however to our knowledge no one has yet explored their use in controlling assistive technologies for the purposes of supporting accessibility testing. In this paper, we explore the requirements of a natural language based accessibility testing workflow, starting with a formative study. From this we build a system that takes as input a manual accessibility test (e.g., ``Search for a show in VoiceOver'') and uses an LLM combined with pixel-based UI Understanding models to execute the test and produce a chaptered, navigable video. In each video, to help QA testers we apply heuristics to detect and flag accessibility issues (e.g., Text size not increasing with Large Text enabled, VoiceOver navigation loops). We evaluate this system through a 10 participant user study with accessibility QA professionals who indicated that the tool would be very useful in their current work and performed tests similarly to how they would manually test the features. The study also reveals insights for future work on using LLMs for accessibility testing.