AI Agents for Web Testing: A Case Study in the Wild

📄 arXiv: 2509.05197v1 📥 PDF

作者: Naimeng Ye, Xiao Yu, Ruize Xu, Tianyi Peng, Zhou Yu

分类: cs.SE, cs.AI, cs.HC

发布日期: 2025-09-05

💡 一句话要点

WebProber：提出基于AI Agent的Web自动化测试框架，发现传统方法难以检测的可用性问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Web测试 AI Agent 自动化测试 可用性测试 大型语言模型

📋 核心要点

  1. 传统Web测试方法侧重代码覆盖率和负载，难以捕捉复杂用户行为，导致大量可用性问题未被发现。
  2. WebProber利用AI Agent模拟用户与网站交互，自主探索并识别潜在的错误和可用性问题。
  3. 在120个学术网站的案例研究中，WebProber发现了29个传统工具未能发现的可用性问题。

📝 摘要（中文）

自动化Web测试在确保高质量用户体验和传递商业价值方面起着关键作用。传统方法主要关注代码覆盖率和负载测试，但通常无法捕捉复杂的用户行为，导致许多可用性问题未被发现。大型语言模型（LLM）和AI Agent的出现为Web测试开辟了新的可能性，它们能够模拟人类与网站的交互，并普遍感知常见的可用性问题。本文提出了WebProber，一个基于AI Agent的Web测试框架原型。给定一个URL，WebProber自主探索网站，模拟真实用户交互，识别错误和可用性问题，并生成人类可读的报告。通过对120个学术个人网站的案例研究，WebProber发现了29个可用性问题，其中许多问题是传统工具遗漏的。研究结果表明，基于Agent的测试是一个有希望的方向，同时也为开发下一代以用户为中心的测试框架指明了方向。

🔬 方法详解

问题定义：现有Web测试方法主要依赖代码覆盖率和负载测试，缺乏对用户行为的模拟，难以发现用户体验相关的可用性问题。这些问题可能包括导航困难、信息架构混乱、交互不友好等，直接影响用户满意度和网站的商业价值。传统方法难以有效模拟真实用户的探索行为和问题感知能力。

核心思路：WebProber的核心思路是利用AI Agent模拟真实用户的行为，自主地探索Web网站，并利用Agent对常见可用性问题的感知能力，自动发现潜在的问题。通过赋予Agent类似人类的交互能力和问题识别能力，可以更全面地评估Web网站的质量。

技术框架：WebProber框架主要包含以下几个模块：1) 网站探索模块：Agent从给定的URL开始，通过模拟用户点击、滚动等操作，自主地探索网站的各个页面。2) 问题识别模块：Agent在探索过程中，利用预定义的规则和模型，识别潜在的可用性问题，例如链接失效、页面加载缓慢、表单验证错误等。3) 报告生成模块：Agent将发现的问题整理成人类可读的报告，包括问题的描述、位置和建议的修复方案。

关键创新：WebProber的关键创新在于将AI Agent引入Web测试领域，使其能够像真实用户一样与网站进行交互，并利用Agent的感知能力自动发现可用性问题。与传统的基于规则或脚本的测试方法相比，WebProber具有更强的灵活性和适应性，能够处理更复杂的Web应用。

关键设计：WebProber的具体实现细节未知，但可以推测其关键设计可能包括：1) Agent的探索策略，例如深度优先搜索或广度优先搜索；2) 问题识别模块中使用的规则和模型，例如基于启发式的规则或基于机器学习的模型；3) 报告生成模块中使用的模板和格式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WebProber在120个学术个人网站的案例研究中，成功发现了29个传统工具未能发现的可用性问题。这些问题涵盖了链接失效、页面加载缓慢、信息架构混乱等多个方面。实验结果表明，基于AI Agent的Web测试方法具有显著的优势，能够更全面地评估Web网站的质量。

🎯 应用场景

WebProber可应用于各种Web应用的自动化测试，例如电商网站、新闻网站、社交媒体平台等。它可以帮助开发者和测试人员更有效地发现和修复可用性问题，提升用户体验，降低维护成本。未来，该技术还可以扩展到移动应用测试、游戏测试等领域。

📄 摘要（原文）

Automated web testing plays a critical role in ensuring high-quality user experiences and delivering business value. Traditional approaches primarily focus on code coverage and load testing, but often fall short of capturing complex user behaviors, leaving many usability issues undetected. The emergence of large language models (LLM) and AI agents opens new possibilities for web testing by enabling human-like interaction with websites and a general awareness of common usability problems. In this work, we present WebProber, a prototype AI agent-based web testing framework. Given a URL, WebProber autonomously explores the website, simulating real user interactions, identifying bugs and usability issues, and producing a human-readable report. We evaluate WebProber through a case study of 120 academic personal websites, where it uncovered 29 usability issues--many of which were missed by traditional tools. Our findings highlight agent-based testing as a promising direction while outlining directions for developing next-generation, user-centered testing frameworks.