LAMBDA: Covering the Multimodal Critical Scenarios for Automated Driving Systems by Search Space Quantization

📄 arXiv: 2412.00517v1 📥 PDF

作者: Xinzheng Wu, Junyi Chen, Xingyu Xing, Jian Sun, Ye Tian, Lihao Liu, Yong Shen

分类: cs.AI, cs.ET, cs.RO

发布日期: 2024-11-30

备注: 17pages, 21figures

💡 一句话要点

LAMBDA：通过搜索空间量化覆盖自动驾驶系统多模态关键场景

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶系统 虚拟测试 黑盒优化 场景覆盖 蒙特卡洛树搜索

📋 核心要点

  1. 现有黑盒优化方法在自动驾驶场景测试中，仅关注单个最优场景，无法全面评估安全性，忽略了其他潜在危险子空间。
  2. LAMBDA通过递归划分逻辑场景空间，并引入采样密度和束搜索，快速聚焦关键子空间，实现对危险场景的全面覆盖。
  3. 实验结果表明，LAMBDA在二维和五维合成函数中，达到95%的关键区域覆盖率分别比随机搜索快33倍和6000倍，性能显著提升。

📝 摘要（中文）

基于场景的虚拟测试是评估自动驾驶系统(ADS)安全性的重要方法。然而，穷举逻辑场景空间中的所有具体场景是不现实的。近年来，黑盒优化(BBO)被引入，通过利用历史测试信息生成新测试用例来加速ADS的基于场景测试。但是，BBO算法找到的单个最优解不足以全面评估ADS在逻辑场景中的安全性。事实上，逻辑场景空间中代表危险的所有子空间，比最关键的具体场景更重要。本文将通过有限数量的测试覆盖逻辑场景空间中尽可能多的关键具体场景定义为黑盒覆盖(BBC)问题。我们在基于采样的搜索范例中形式化了这个问题，并构建了基于混淆矩阵分析的覆盖标准。此外，我们提出了LAMBDA（具有密度自适应的潜在动作蒙特卡洛束搜索）来解决BBC问题。LAMBDA可以通过递归地将逻辑场景空间划分为接受和拒绝部分来快速关注关键子空间。与之前的LaMCTS相比，LAMBDA引入了采样密度来克服优化带来的采样偏差，并引入了束搜索以获得更多的并行性。实验结果表明，LAMBDA在所有基线中都达到了最先进的性能，并且在二维和五维合成函数中，达到95%的关键区域覆盖率分别比随机搜索快33倍和6000倍。实验还表明，LAMBDA在虚拟测试中对ADS的安全评估具有广阔的前景。

🔬 方法详解

问题定义：论文旨在解决自动驾驶系统虚拟测试中，如何高效覆盖逻辑场景空间中的多个关键危险场景，从而进行更全面的安全性评估的问题。现有黑盒优化方法通常只关注找到单个最危险的场景，而忽略了其他潜在的危险子空间，导致安全性评估不完整。

核心思路：论文的核心思路是将黑盒覆盖问题形式化为基于采样的搜索问题，并设计一种能够快速聚焦关键子空间的方法。通过递归地划分逻辑场景空间，并根据采样密度自适应地调整搜索策略，LAMBDA能够有效地探索和覆盖多个危险场景。

技术框架：LAMBDA的技术框架主要包括以下几个阶段：1) 场景空间划分：将逻辑场景空间递归地划分为接受和拒绝两部分。2) 采样与评估：在划分后的子空间中进行采样，并使用混淆矩阵分析评估采样的结果。3) 密度自适应：根据采样结果调整采样密度，使搜索更加集中于关键子空间。4) 束搜索：利用束搜索并行地探索多个潜在的危险子空间。

关键创新：LAMBDA的关键创新在于：1) 黑盒覆盖问题形式化：将覆盖多个危险场景的问题形式化为黑盒覆盖问题，并提出了相应的覆盖标准。2) 密度自适应采样：引入采样密度来克服优化带来的采样偏差，使搜索更加集中于关键子空间。3) 束搜索并行化：利用束搜索并行地探索多个潜在的危险子空间，提高了搜索效率。

关键设计：LAMBDA的关键设计包括：1) 混淆矩阵分析：使用混淆矩阵分析来评估采样的结果，并作为划分场景空间的依据。2) 采样密度计算：根据采样结果动态调整采样密度，使搜索更加集中于关键子空间。3) 束搜索参数设置：合理设置束搜索的宽度，以平衡搜索的广度和深度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LAMBDA在二维和五维合成函数中，达到95%的关键区域覆盖率分别比随机搜索快33倍和6000倍。与LaMCTS等基线方法相比，LAMBDA在覆盖率和搜索效率方面均取得了显著提升，验证了其在解决黑盒覆盖问题上的有效性。

🎯 应用场景

LAMBDA可应用于自动驾驶系统的虚拟测试与验证，通过高效覆盖各种危险场景，提升ADS的安全性评估水平。该方法还可扩展到其他安全攸关系统的测试，例如机器人、航空航天等领域，具有广泛的应用前景和实际价值。

📄 摘要（原文）

Scenario-based virtual testing is one of the most significant methods to test and evaluate the safety of automated driving systems (ADSs). However, it is impractical to enumerate all concrete scenarios in a logical scenario space and test them exhaustively. Recently, Black-Box Optimization (BBO) was introduced to accelerate the scenario-based test of ADSs by utilizing the historical test information to generate new test cases. However, a single optimum found by the BBO algorithm is insufficient for the purpose of a comprehensive safety evaluation of ADSs in a logical scenario. In fact, all the subspaces representing danger in the logical scenario space, rather than only the most critical concrete scenario, play a more significant role for the safety evaluation. Covering as many of the critical concrete scenarios in a logical scenario space through a limited number of tests is defined as the Black-Box Coverage (BBC) problem in this paper. We formalized this problem in a sample-based search paradigm and constructed a coverage criterion with Confusion Matrix Analysis. Furthermore, we propose LAMBDA (Latent-Action Monte-Carlo Beam Search with Density Adaption) to solve BBC problems. LAMBDA can quickly focus on critical subspaces by recursively partitioning the logical scenario space into accepted and rejected parts. Compared with its predecessor LaMCTS, LAMBDA introduces sampling density to overcome the sampling bias from optimization and Beam Search to obtain more parallelizability. Experimental results show that LAMBDA achieves state-of-the-art performance among all baselines and can reach at most 33 and 6000 times faster than Random Search to get 95% coverage of the critical areas in 2- and 5-dimensional synthetic functions, respectively. Experiments also demonstrate that LAMBDA has a promising future in the safety evaluation of ADSs in virtual tests.