GenAI-based test case generation and execution in SDV platform

📄 arXiv: 2509.05112v1 📥 PDF

作者: Denesa Zyberaj, Lukasz Mazur, Nenad Petrovic, Pankhuri Verma, Pascal Hirmer, Dirk Slama, Xiangwei Cheng, Alois Knoll

分类: cs.SE, cs.AI

发布日期: 2025-09-05

💡 一句话要点

提出基于GenAI的测试用例生成与执行方法，加速SDV平台验证。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: GenAI 测试用例生成 软件定义汽车 自动化测试 大型语言模型

📋 核心要点

  1. 传统测试用例生成耗时费力，难以应对软件定义汽车（SDV）快速迭代的需求。
  2. 利用GenAI将自然语言需求和系统图自动转化为Gherkin测试用例，提升效率。
  3. 在digital.auto平台验证儿童存在检测系统，显著减少手动测试规范工作量。

📝 摘要（中文）

本文介绍了一种基于GenAI的自动化测试用例生成方法，该方法利用大型语言模型和视觉-语言模型将自然语言需求和系统图转换为结构化的Gherkin测试用例。该方法集成了车辆信号规范建模，以标准化车辆信号定义，提高汽车子系统之间的兼容性，并简化与第三方测试工具的集成。生成的测试用例在digital.auto playground中执行，这是一个开放且厂商中立的环境，旨在促进软件定义车辆功能的快速验证。我们使用儿童存在检测系统用例评估了我们的方法，证明了手动测试规范工作的大幅减少以及生成测试的快速执行。尽管自动化程度很高，但由于GenAI管道的当前局限性和digital.auto平台的约束，测试用例和测试脚本的生成仍然需要人工干预。

🔬 方法详解

问题定义：论文旨在解决软件定义汽车（SDV）开发中测试用例生成效率低下的问题。传统的手动测试用例编写耗时且容易出错，难以跟上SDV快速迭代的步伐。现有的自动化测试方法通常依赖于预定义的规则和模板，缺乏灵活性和泛化能力。

核心思路：论文的核心思路是利用GenAI，特别是大型语言模型（LLM）和视觉-语言模型（VLM），自动将自然语言描述的需求和系统图转换为结构化的Gherkin测试用例。这种方法旨在减少手动工作量，提高测试用例的生成速度和质量。

技术框架：该方法的技术框架主要包括以下几个阶段：1) 输入：接收自然语言描述的需求和系统图；2) GenAI模型：利用LLM和VLM对输入进行处理，提取关键信息并生成Gherkin测试用例；3) 车辆信号规范建模：集成车辆信号规范建模，标准化车辆信号定义，提高兼容性；4) 测试执行：在digital.auto playground中执行生成的测试用例；5) 结果评估：评估测试结果，并根据需要进行人工干预和调整。

关键创新：该方法最重要的技术创新点在于利用GenAI自动生成测试用例，将自然语言需求和系统图直接转化为可执行的测试代码。与传统的基于规则或模板的自动化测试方法相比，该方法具有更高的灵活性和泛化能力，能够更好地适应SDV快速变化的需求。

关键设计：论文中没有详细描述GenAI模型的具体参数设置、损失函数或网络结构。但是，强调了车辆信号规范建模的重要性，这有助于标准化车辆信号定义，提高测试用例的兼容性和可重用性。此外，digital.auto playground作为一个开放且厂商中立的测试环境，为测试用例的执行和验证提供了便利。

📊 实验亮点

论文通过儿童存在检测系统用例验证了该方法的有效性，结果表明，该方法能够显著减少手动测试规范的工作量，并实现生成测试的快速执行。虽然文中没有给出具体的性能数据，但强调了自动化程度的提升和效率的改进。

🎯 应用场景

该研究成果可广泛应用于软件定义汽车的测试和验证领域，加速汽车功能的开发和部署。通过自动化测试用例生成，可以显著降低测试成本，缩短开发周期，并提高软件质量。此外，该方法还可以应用于其他需要自动化测试的领域，例如物联网、智能家居等。

📄 摘要（原文）

This paper introduces a GenAI-driven approach for automated test case generation, leveraging Large Language Models and Vision-Language Models to translate natural language requirements and system diagrams into structured Gherkin test cases. The methodology integrates Vehicle Signal Specification modeling to standardize vehicle signal definitions, improve compatibility across automotive subsystems, and streamline integration with third-party testing tools. Generated test cases are executed within the digital.auto playground, an open and vendor-neutral environment designed to facilitate rapid validation of software-defined vehicle functionalities. We evaluate our approach using the Child Presence Detection System use case, demonstrating substantial reductions in manual test specification effort and rapid execution of generated tests. Despite significant automation, the generation of test cases and test scripts still requires manual intervention due to current limitations in the GenAI pipeline and constraints of the digital.auto platform.