An efficient approach to represent enterprise web application structure using Large Language Model in the service of Intelligent Quality Engineering

📄 arXiv: 2501.06837v1 📥 PDF

作者: Zaber Al Hassan Ayon, Gulam Husain, Roshankumar Bisoi, Waliur Rahman, Dr Tom Osborn

分类: cs.AI, cs.SE

发布日期: 2025-01-12

备注: 16 pages, 1 figure and 4 tables, relevant for Gen AI and enterprise AI use cases

💡 一句话要点

提出一种基于大语言模型的企业Web应用结构表示方法，用于智能质量工程。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 Web应用测试 自动化测试 软件质量工程 少样本学习

📋 核心要点

  1. 现有自动化测试方法难以有效利用生成式AI理解复杂的Web应用架构，导致测试用例质量不高。
  2. 提出一种分层表示方法，优化LLM的少样本学习能力，使LLM能通过上下文学习理解Web应用架构。
  3. 在电商和医疗应用上的实验表明，该方法能显著提高自动化测试的成功率和测试用例的相关性。

📝 摘要（中文）

本文提出了一种利用大语言模型（LLM）表示企业Web应用结构的新方法，旨在实现大规模的智能质量工程。该方法引入了一种分层表示方法，优化了LLM的少样本学习能力，同时保留了Web应用内部复杂的关联和交互。该方法包括五个关键阶段：全面的DOM分析、多页面综合、测试套件生成、执行和结果分析。通过开发一种结构化格式，使LLM能够通过上下文学习理解Web应用架构，从而解决了在自动化软件测试中使用生成式AI技术时面临的现有挑战。我们使用两个不同的Web应用程序（电子商务平台Swag Labs和医疗保健应用程序MediBox，后者部署在Atalgo工程环境中）评估了该方法。结果表明，在实现自动化测试方面的成功率分别为90%和70%，并且测试用例在多个评估标准中具有很高的相关性。研究结果表明，我们的表示方法显著增强了LLM生成上下文相关测试用例的能力，并提供了更好的整体质量保证，同时减少了测试所需的时间和精力。

🔬 方法详解

问题定义：现有自动化测试方法在处理复杂的企业级Web应用时，面临着难以有效利用生成式AI技术的挑战。具体来说，LLM难以理解Web应用的整体架构和页面间的复杂关系，导致生成的测试用例缺乏上下文相关性，测试覆盖率不足，最终影响软件质量。现有方法通常需要大量的人工干预来定义测试用例，耗时耗力。

核心思路：本文的核心思路是利用一种结构化的分层表示方法，将Web应用的DOM结构、页面关系以及用户交互信息有效地编码，并将其作为LLM的上下文输入。通过这种方式，LLM可以更好地理解Web应用的架构，从而生成更具上下文相关性和更高质量的测试用例。这种方法旨在优化LLM的少样本学习能力，使其能够在少量示例的指导下，快速适应新的Web应用。

技术框架：该方法包含五个主要阶段：1) 全面的DOM分析：对Web应用的每个页面进行DOM结构解析，提取关键元素和属性。2) 多页面综合：将多个页面的DOM结构进行整合，构建Web应用的整体架构图。3) 测试套件生成：利用LLM，基于Web应用架构图和用户交互信息，生成测试套件。4) 执行：执行生成的测试套件，并记录测试结果。5) 结果分析：分析测试结果，评估测试用例的有效性和覆盖率。

关键创新：该方法的关键创新在于提出了一种结构化的Web应用表示方法，该方法能够有效地将Web应用的复杂结构和交互信息编码，并作为LLM的上下文输入。与传统的基于规则或模板的测试用例生成方法相比，该方法能够更好地利用LLM的自然语言理解和生成能力，生成更具上下文相关性和更高质量的测试用例。

关键设计：该方法的关键设计包括：1) 使用分层结构表示Web应用架构，从页面到组件再到元素，逐层细化。2) 利用LLM的few-shot learning能力，通过少量示例指导LLM生成测试用例。3) 设计合适的prompt模板，引导LLM生成符合要求的测试用例格式。4) 使用相关性评分指标评估生成的测试用例的质量。

🖼️ 关键图片

fig_0

📊 实验亮点

在Swag Labs电子商务平台和MediBox医疗保健应用上的实验结果表明，该方法在自动化测试方面的成功率分别达到90%和70%。测试用例在多个评估标准中具有很高的相关性，表明该方法能够有效生成上下文相关的测试用例，显著提升测试效率和质量。

🎯 应用场景

该研究成果可应用于企业级Web应用的自动化测试，提升软件质量，降低测试成本。通过减少人工干预，加速测试流程，该方法有助于快速发现和修复软件缺陷，提高用户满意度。未来，该方法可扩展到移动应用和桌面应用等其他软件测试领域。

📄 摘要（原文）

This paper presents a novel approach to represent enterprise web application structures using Large Language Models (LLMs) to enable intelligent quality engineering at scale. We introduce a hierarchical representation methodology that optimizes the few-shot learning capabilities of LLMs while preserving the complex relationships and interactions within web applications. The approach encompasses five key phases: comprehensive DOM analysis, multi-page synthesis, test suite generation, execution, and result analysis. Our methodology addresses existing challenges around usage of Generative AI techniques in automated software testing by developing a structured format that enables LLMs to understand web application architecture through in-context learning. We evaluated our approach using two distinct web applications: an e-commerce platform (Swag Labs) and a healthcare application (MediBox) which is deployed within Atalgo engineering environment. The results demonstrate success rates of 90\% and 70\%, respectively, in achieving automated testing, with high relevance scores for test cases across multiple evaluation criteria. The findings suggest that our representation approach significantly enhances LLMs' ability to generate contextually relevant test cases and provide better quality assurance overall, while reducing the time and effort required for testing.