UXAgent: A System for Simulating Usability Testing of Web Design with LLM Agents
作者: Yuxuan Lu, Bingsheng Yao, Hansu Gu, Jing Huang, Jessie Wang, Yang Li, Jiri Gesi, Qi He, Toby Jia-Jun Li, Dakuo Wang
分类: cs.CL, cs.HC
发布日期: 2025-04-13 (更新: 2025-09-19)
💡 一句话要点
UXAgent：利用LLM Agent模拟Web设计可用性测试，辅助UX研究。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可用性测试 用户体验 LLM Agent Web设计 人机交互
📋 核心要点
- 传统可用性测试依赖真实用户，成本高昂且耗时，难以快速迭代研究设计。
- UXAgent利用LLM Agent模拟用户行为，自动生成大量模拟用户并进行交互式测试，从而评估和迭代研究设计。
- 通过启发式评估，UX研究人员对UXAgent的创新性表示肯定，但也关注LLM Agent在UX研究中的潜在问题。
📝 摘要（中文）
可用性测试是用户体验(UX)研究人员评估和迭代新设计的基本方法。本文提出UXAgent系统，旨在利用大型语言模型模拟的Agent（LLM Agent）来支持UX研究人员在进行真实用户研究之前评估和迭代他们的研究设计。该系统包含Persona Generator模块、LLM Agent模块和Universal Browser Connector模块，能够自动生成数千个模拟用户并交互式地测试目标网站。系统还提供Result Viewer Interface，方便UX研究人员审查和分析生成的定性数据（例如，agents的调查问卷）和定量数据（例如，agents的交互日志），甚至直接与agents进行访谈。通过对16位UX研究人员的启发式评估，参与者赞扬了我们系统的创新性，但也表达了对LLM Agent在UX研究中未来使用的担忧。
🔬 方法详解
问题定义：传统的Web设计可用性测试依赖于真实用户参与，存在成本高、耗时长的缺点，难以支持快速迭代的研究设计。研究人员在进行大规模用户测试前，难以有效地评估和优化测试流程本身，导致效率低下。因此，如何低成本、高效率地模拟用户行为，辅助UX研究人员评估和改进可用性测试设计，是本文要解决的核心问题。
核心思路：本文的核心思路是利用大型语言模型（LLM）强大的自然语言理解和生成能力，构建能够模拟真实用户行为的Agent。这些Agent可以根据预设的角色（Persona）自动与目标网站进行交互，并记录交互过程中的数据，从而为UX研究人员提供定性和定量的反馈，辅助其优化可用性测试设计。
技术框架：UXAgent系统主要包含三个模块：Persona Generator模块，用于生成具有不同特征的模拟用户角色；LLM Agent模块，负责驱动Agent与目标网站进行交互，模拟用户行为；Universal Browser Connector模块，提供Agent与Web浏览器交互的接口。此外，系统还提供Result Viewer Interface，用于展示和分析Agent的交互数据和反馈。整个流程是：首先，Persona Generator生成用户角色；然后，LLM Agent根据角色信息与网站交互，Universal Browser Connector负责连接Agent和浏览器；最后，Result Viewer Interface展示结果供UX研究人员分析。
关键创新：该系统最重要的创新点在于将LLM Agent引入到Web设计可用性测试的模拟中。与传统的基于规则或脚本的模拟方法相比，LLM Agent能够更好地理解用户意图，并生成更自然、更符合真实用户行为的交互过程。此外，系统还提供了一套完整的工具链，包括用户角色生成、交互执行和结果分析，方便UX研究人员使用。
关键设计：Persona Generator模块的设计需要考虑如何生成具有多样性和代表性的用户角色。LLM Agent模块需要设计合适的prompt，引导Agent完成特定的任务，并记录关键的交互数据。Universal Browser Connector模块需要保证Agent能够安全、稳定地与Web浏览器进行交互。Result Viewer Interface需要设计友好的界面，方便UX研究人员查看和分析数据。
🖼️ 关键图片
📊 实验亮点
通过对16位UX研究人员的启发式评估，UXAgent系统获得了积极的反馈。研究人员认为该系统具有创新性，能够有效地辅助可用性测试设计。虽然研究人员也对LLM Agent在UX研究中的潜在问题表示担忧，但总体而言，UXAgent展示了LLM Agent在Web设计可用性测试中的巨大潜力。
🎯 应用场景
UXAgent可应用于Web设计、移动应用设计等领域，帮助设计师在早期阶段发现潜在的可用性问题，降低开发成本，提升用户体验。该系统还可以用于评估不同设计方案的优劣，为决策提供数据支持。未来，该技术有望扩展到更广泛的人机交互领域，例如智能家居、虚拟现实等。
📄 摘要（原文）
Usability testing is a fundamental research method that user experience (UX) researchers use to evaluate and iterate their new designs. But what about evaluating and iterating the usability testing study design itself? Recent advances in Large Language Model-simulated Agent (LLM Agent) research inspired us to design UXAgent to support UX researchers in evaluating and iterating their study design before they conduct the real human-subject study. Our system features a Persona Generator module, an LLM Agent module, and a Universal Browser Connector module to automatically generate thousands of simulated users and to interactively test the target website. The system also provides a Result Viewer Interface so that the UX researchers can easily review and analyze the generated qualitative (e.g., agents' post-study surveys) and quantitative data (e.g., agents' interaction logs), or even interview agents directly. Through a heuristic evaluation with 16 UX researchers, participants praised the innovation of our system but also expressed concerns about the future of LLM Agent usage in UX studies.