OpenLKA: an open dataset of lane keeping assist from market autonomous vehicles

📄 arXiv: 2501.03287v1 📥 PDF

作者: Yuhang Wang, Abdulaziz Alhuraish, Shengming Yuan, Shuyi Wang, Hao Zhou

分类: cs.RO, cs.CV, cs.LG

发布日期: 2025-01-06

💡 一句话要点

发布OpenLKA数据集，评估量产车道保持辅助系统在复杂场景下的性能与安全性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 车道保持辅助系统 LKA数据集 自动驾驶 视觉语言模型 CAN总线 ADAS 真实场景测试

📋 核心要点

  1. 现有车道保持辅助系统(LKA)的实际性能和安全性缺乏充分的真实数据验证，尤其是在复杂和恶劣条件下。
  2. 论文通过创新方法，收集包含CAN消息、视频、感知数据和轨迹信息的综合数据集，用于评估LKA系统。
  3. 实验结果揭示了LKA系统在车道线模糊、车道过渡、急转弯等场景下的局限性，并提出了改进建议。

📝 摘要（中文）

车道保持辅助(LKA)系统已成为新型汽车的标配。尽管其市场定位为提供自动转向功能，但由于缺乏实际测试和全面数据，该系统的运行特性和安全性能仍未得到充分探索。为了填补这一空白，我们在佛罗里达州坦帕市对美国领先汽车制造商的主流LKA系统进行了广泛测试。我们采用了一种创新方法，收集了一个全面的数据集，包括完整的控制器局域网(CAN)消息与LKA属性，以及来自配备先进视觉检测和轨迹规划算法的高质量前置摄像头的视频、感知和横向轨迹数据。我们的测试涵盖了各种具有挑战性的条件，包括复杂的道路几何形状、恶劣天气、退化的车道标记及其组合。视觉语言模型(VLM)进一步注释了视频，以捕获天气、光照和交通特征。基于此数据集，我们对LKA的运行特性和安全性能进行了实证概述。主要发现表明：(i)LKA容易受到模糊标记和低路面对比度的影响；(ii)它在车道过渡(合并、分叉、交叉口)中表现不佳，经常导致意外偏离或脱离；(iii)转向扭矩限制导致在急转弯时频繁偏离，构成安全风险；(iv)LKA系统始终保持严格的车道居中，缺乏在急弯或靠近大型车辆(如卡车)时的适应性。最后，我们展示了该数据集如何指导基础设施规划和自动驾驶技术。鉴于LKA的局限性，我们建议改进道路几何形状和路面维护。此外，我们还展示了该数据集如何通过VLM微调和思维链推理来支持类人LKA系统的开发。

🔬 方法详解

问题定义：论文旨在解决现有车道保持辅助系统(LKA)缺乏充分的真实世界数据支持，导致其在复杂场景下的性能和安全性评估不足的问题。现有方法主要依赖于仿真或有限的道路测试，难以全面反映LKA在各种实际驾驶条件下的表现，尤其是在恶劣天气、退化车道线等挑战性场景下。

核心思路：论文的核心思路是通过大规模、多场景的真实道路测试，收集包含LKA系统内部信号（CAN消息）以及外部环境感知数据的综合数据集。该数据集能够为LKA系统的性能评估、改进和新型LKA算法的开发提供数据基础。通过视觉语言模型(VLM)对视频数据进行标注，进一步增强了数据集的可用性。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 数据采集：使用配备高精度传感器和前置摄像头的车辆，在各种复杂道路和天气条件下进行LKA系统测试，记录CAN消息、视频、感知数据和横向轨迹。2) 数据标注：利用视觉语言模型(VLM)对视频数据进行标注，提取天气、光照、交通等环境信息。3) 数据分析：基于收集的数据集，对LKA系统的运行特性和安全性能进行实证分析，识别其在不同场景下的局限性。4) 应用示范：展示如何利用该数据集改进基础设施规划和开发类人LKA系统。

关键创新：该论文的关键创新在于：1) 构建了一个包含LKA系统内部信号（CAN消息）和外部环境感知数据的综合数据集，为LKA系统的研究提供了丰富的数据资源。2) 利用视觉语言模型(VLM)对视频数据进行标注，实现了环境信息的自动提取，提高了数据标注的效率和准确性。3) 对LKA系统在复杂场景下的性能进行了实证分析，揭示了其在车道线模糊、车道过渡等场景下的局限性。

关键设计：论文的关键设计包括：1) 选择具有代表性的美国主流汽车制造商的LKA系统进行测试。2) 设计涵盖各种复杂道路和天气条件的测试场景。3) 使用高精度传感器和前置摄像头记录数据。4) 利用视觉语言模型(VLM)进行视频数据标注。5) 基于数据集进行LKA系统性能评估和改进算法开发。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LKA系统在车道线模糊和低路面对比度下表现不佳，容易发生偏离。在车道合并、分叉和交叉口等车道过渡场景中，LKA系统也经常出现意外脱离。此外，转向扭矩限制导致LKA在急转弯时容易偏离车道。LKA系统在急弯或靠近大型车辆时缺乏适应性，始终保持严格的车道居中。

🎯 应用场景

该研究成果可应用于自动驾驶系统开发、高级驾驶辅助系统(ADAS)测试与验证、智能交通基础设施规划等领域。通过分析LKA系统在不同场景下的表现，可以为改进LKA算法、提升系统安全性提供数据支持。此外，该数据集还可以用于训练类人LKA系统，使其在复杂场景下具有更好的适应性和鲁棒性。研究结果还可为道路设计和维护提供参考，例如优化车道线清晰度，改善道路几何形状。

📄 摘要（原文）

The Lane Keeping Assist (LKA) system has become a standard feature in recent car models. While marketed as providing auto-steering capabilities, the system's operational characteristics and safety performance remain underexplored, primarily due to a lack of real-world testing and comprehensive data. To fill this gap, we extensively tested mainstream LKA systems from leading U.S. automakers in Tampa, Florida. Using an innovative method, we collected a comprehensive dataset that includes full Controller Area Network (CAN) messages with LKA attributes, as well as video, perception, and lateral trajectory data from a high-quality front-facing camera equipped with advanced vision detection and trajectory planning algorithms. Our tests spanned diverse, challenging conditions, including complex road geometry, adverse weather, degraded lane markings, and their combinations. A vision language model (VLM) further annotated the videos to capture weather, lighting, and traffic features. Based on this dataset, we present an empirical overview of LKA's operational features and safety performance. Key findings indicate: (i) LKA is vulnerable to faint markings and low pavement contrast; (ii) it struggles in lane transitions (merges, diverges, intersections), often causing unintended departures or disengagements; (iii) steering torque limitations lead to frequent deviations on sharp turns, posing safety risks; and (iv) LKA systems consistently maintain rigid lane-centering, lacking adaptability on tight curves or near large vehicles such as trucks. We conclude by demonstrating how this dataset can guide both infrastructure planning and self-driving technology. In view of LKA's limitations, we recommend improvements in road geometry and pavement maintenance. Additionally, we illustrate how the dataset supports the development of human-like LKA systems via VLM fine-tuning and Chain of Thought reasoning.