GenAI-based test case generation and execution in SDV platform
作者: Denesa Zyberaj, Lukasz Mazur, Nenad Petrovic, Pankhuri Verma, Pascal Hirmer, Dirk Slama, Xiangwei Cheng, Alois Knoll
分类: cs.SE, cs.AI
发布日期: 2025-09-05
💡 一句话要点
提出基于GenAI的测试用例生成与执行方法，加速SDV平台验证。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 软件定义汽车 自动化测试 GenAI 大型语言模型 视觉-语言模型 Gherkin 车辆信号规范
📋 核心要点
- 现有软件定义汽车（SDV）测试用例生成依赖手动，效率低且易出错，难以满足快速迭代需求。
- 利用GenAI将自然语言需求和系统图自动转换为Gherkin测试用例，标准化车辆信号，提升测试效率。
- 在digital.auto平台验证儿童存在检测系统，显著减少手动测试工作量，实现快速测试执行。
📝 摘要（中文）
本文介绍了一种基于GenAI的自动化测试用例生成方法，该方法利用大型语言模型和视觉-语言模型将自然语言需求和系统图转换为结构化的Gherkin测试用例。该方法集成了车辆信号规范建模，以标准化车辆信号定义，提高汽车子系统之间的兼容性，并简化与第三方测试工具的集成。生成的测试用例在digital.auto playground中执行，这是一个开放且厂商中立的环境，旨在促进软件定义车辆功能的快速验证。我们使用儿童存在检测系统用例评估了我们的方法，证明了在手动测试规范工作量方面的显著减少以及生成测试的快速执行。尽管自动化程度很高，但由于GenAI管道的当前限制和digital.auto平台的约束，测试用例和测试脚本的生成仍然需要人工干预。
🔬 方法详解
问题定义：论文旨在解决软件定义汽车（SDV）测试用例生成效率低下的问题。传统的手动测试用例编写耗时耗力，且容易出错，难以跟上SDV快速迭代的步伐。现有方法缺乏自动化和标准化，导致测试覆盖率不足，影响软件质量。
核心思路：论文的核心思路是利用GenAI技术，特别是大型语言模型（LLM）和视觉-语言模型（VLM），将自然语言描述的需求和系统图自动转换为结构化的Gherkin测试用例。通过引入车辆信号规范建模，实现车辆信号定义的标准化，从而提高测试用例的兼容性和可重用性。
技术框架：该方法包含以下主要阶段：1) 使用LLM/VLM解析自然语言需求和系统图；2) 将解析结果转换为Gherkin测试用例；3) 利用车辆信号规范建模标准化车辆信号；4) 在digital.auto playground中执行生成的测试用例。整个流程旨在实现测试用例的自动化生成和执行，减少人工干预。
关键创新：该方法的关键创新在于将GenAI技术应用于SDV测试用例生成，实现了从自然语言需求到可执行测试用例的自动转换。此外，引入车辆信号规范建模，解决了不同汽车子系统之间的兼容性问题，提高了测试用例的通用性。
关键设计：论文中没有详细描述具体的参数设置、损失函数或网络结构等技术细节。但提到使用了Gherkin语言作为测试用例的结构化表示，并利用digital.auto playground作为测试执行环境。GenAI模型的选择和训练细节未知。
🖼️ 关键图片
📊 实验亮点
论文通过儿童存在检测系统用例验证了该方法的有效性，证明了在手动测试规范工作量方面的显著减少以及生成测试的快速执行。虽然具体的数据没有给出，但强调了自动化带来的效率提升。结果表明，该方法在SDV测试领域具有实际应用价值。
🎯 应用场景
该研究成果可应用于软件定义汽车的自动化测试领域，加速软件开发和验证过程，降低测试成本，提高软件质量。通过标准化车辆信号，促进不同汽车子系统之间的协同工作，为第三方测试工具的集成提供便利。未来可扩展到其他复杂系统的自动化测试。
📄 摘要（原文）
This paper introduces a GenAI-driven approach for automated test case generation, leveraging Large Language Models and Vision-Language Models to translate natural language requirements and system diagrams into structured Gherkin test cases. The methodology integrates Vehicle Signal Specification modeling to standardize vehicle signal definitions, improve compatibility across automotive subsystems, and streamline integration with third-party testing tools. Generated test cases are executed within the digital.auto playground, an open and vendor-neutral environment designed to facilitate rapid validation of software-defined vehicle functionalities. We evaluate our approach using the Child Presence Detection System use case, demonstrating substantial reductions in manual test specification effort and rapid execution of generated tests. Despite significant automation, the generation of test cases and test scripts still requires manual intervention due to current limitations in the GenAI pipeline and constraints of the digital.auto platform.