System Test Case Design from Requirements Specifications: Insights and Challenges of Using ChatGPT

📄 arXiv: 2412.03693v1 📥 PDF

作者: Shreya Bhatia, Tarushi Gandhi, Dhruv Kumar, Pankaj Jalote

分类: cs.SE, cs.AI

发布日期: 2024-12-04

💡 一句话要点

利用ChatGPT生成系统测试用例设计，提升测试效率与覆盖率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 系统测试 测试用例生成 大型语言模型 ChatGPT 软件需求规格说明书

📋 核心要点

  1. 传统系统测试用例设计耗时且易遗漏，难以保证测试覆盖率。
  2. 利用LLM从SRS自动生成测试用例，并辅助识别冗余，提升效率。
  3. 实验表明，87%的生成用例有效，且发现15%开发者未考虑的用例。

📝 摘要（中文）

系统测试是软件开发中确保产品符合需求的关键环节。本文探讨了使用大型语言模型（LLM）从软件需求规格说明书（SRS）生成测试用例设计的有效性。研究收集了五个软件工程项目的SRS文档，这些项目的功能和非功能需求均已由开发团队实现、测试和交付。使用ChatGPT-4o Turbo模型生成测试用例设计，采用提示链方法，首先设定上下文，然后为每个用例生成测试用例。通过开发团队的反馈评估生成测试用例设计的质量。实验表明，约87%的生成测试用例有效，剩余13%不适用或冗余。值得注意的是，15%的有效测试用例是开发人员之前未考虑到的。ChatGPT还被用于识别冗余测试用例，并由开发人员验证，以识别假阳性并发现开发人员可能遗漏的冗余用例。该研究强调了利用LLM从需求规格说明书生成测试用例的潜力，并协助开发人员快速识别和解决冗余问题，从而提高测试套件质量和测试过程效率。

🔬 方法详解

问题定义：论文旨在解决从软件需求规格说明书（SRS）中高效、全面地生成系统测试用例设计的问题。现有方法通常依赖人工编写，耗时且容易遗漏关键测试场景，难以保证测试覆盖率。此外，人工识别冗余测试用例也存在效率低下的问题。

核心思路：论文的核心思路是利用大型语言模型（LLM）的自然语言理解和生成能力，将SRS文档作为输入，通过精心设计的提示（prompt）生成测试用例设计。同时，利用LLM识别潜在的冗余测试用例，辅助开发人员进行测试用例的优化。

技术框架：整体流程包括以下几个阶段：1) 收集软件工程项目的SRS文档；2) 使用ChatGPT-4o Turbo模型，通过提示链（prompt-chaining）方法生成测试用例设计，首先设定上下文，然后为每个用例生成测试用例；3) 由开发团队评估生成测试用例的质量，包括有效性、适用性和冗余性；4) 使用ChatGPT识别冗余测试用例，并由开发团队验证，识别假阳性并发现开发人员可能遗漏的冗余用例。

关键创新：该研究的关键创新在于将LLM应用于系统测试用例设计的自动化生成和冗余识别。与传统的手工方法相比，LLM能够更快速、更全面地生成测试用例，并辅助开发人员发现潜在的测试遗漏和冗余。提示链（prompt-chaining）方法也是一个重要的创新，通过逐步引导LLM，提高生成测试用例的质量和相关性。

关键设计：提示链（prompt-chaining）是关键设计之一，通过设计一系列的提示，逐步引导LLM生成高质量的测试用例。例如，首先提供SRS文档的上下文信息，然后针对每个用例，要求LLM生成相应的测试用例设计。此外，如何设计有效的提示，以指导LLM识别冗余测试用例也是一个重要的技术细节。论文中并未详细描述具体的提示内容，这部分信息未知。

📊 实验亮点

实验结果表明，使用ChatGPT-4o Turbo模型生成的测试用例中，约87%是有效的。更重要的是，其中15%的有效测试用例是开发人员在之前的测试中未曾考虑到的，这表明LLM能够有效地扩展测试覆盖范围。此外，ChatGPT在识别冗余测试用例方面也表现出潜力，能够辅助开发人员优化测试套件。

🎯 应用场景

该研究成果可应用于软件开发过程的系统测试阶段，帮助测试人员和开发人员更高效地生成测试用例，提高测试覆盖率，减少测试遗漏，并降低测试成本。通过自动化测试用例生成和冗余识别，可以显著提升软件质量和开发效率，尤其适用于需求文档规范、用例数量庞大的项目。

📄 摘要（原文）

System testing is essential in any software development project to ensure that the final products meet the requirements. Creating comprehensive test cases for system testing from requirements is often challenging and time-consuming. This paper explores the effectiveness of using Large Language Models (LLMs) to generate test case designs from Software Requirements Specification (SRS) documents. In this study, we collected the SRS documents of five software engineering projects containing functional and non-functional requirements, which were implemented, tested, and delivered by respective developer teams. For generating test case designs, we used ChatGPT-4o Turbo model. We employed prompt-chaining, starting with an initial context-setting prompt, followed by prompts to generate test cases for each use case. We assessed the quality of the generated test case designs through feedback from the same developer teams as mentioned above. Our experiments show that about 87 percent of the generated test cases were valid, with the remaining 13 percent either not applicable or redundant. Notably, 15 percent of the valid test cases were previously not considered by developers in their testing. We also tasked ChatGPT with identifying redundant test cases, which were subsequently validated by the respective developers to identify false positives and to uncover any redundant test cases that may have been missed by the developers themselves. This study highlights the potential of leveraging LLMs for test generation from the Requirements Specification document and also for assisting developers in quickly identifying and addressing redundancies, ultimately improving test suite quality and efficiency of the testing procedure.