CLRKDNet: Speeding up Lane Detection with Knowledge Distillation

📄 arXiv: 2405.12503v1 📥 PDF

作者: Weiqing Qi, Guoyang Zhao, Fulong Ma, Linwei Zheng, Ming Liu

分类: cs.CV

发布日期: 2024-05-21

💡 一句话要点

CLRKDNet：利用知识蒸馏加速车道线检测，提升自动驾驶实时性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 车道线检测 知识蒸馏 模型加速 自动驾驶 实时性

📋 核心要点

  1. 现有车道线检测方法难以同时保证高精度和实时性，限制了其在自动驾驶系统中的应用。
  2. CLRKDNet通过简化网络结构并引入知识蒸馏，将复杂模型的知识迁移到轻量级模型，实现加速。
  3. 实验表明，CLRKDNet在保持精度的情况下，推理速度提升显著，更适用于实时场景。

📝 摘要（中文）

本文提出了一种名为CLRKDNet的轻量级车道线检测模型，旨在平衡检测精度与实时性，以满足智能车辆视觉感知系统的需求。现有方法通常难以兼顾这两者。CLRKDNet基于先进的CLRNet模型，通过简化其特征金字塔网络（FPN）结构和多层检测头，并引入新颖的师生蒸馏过程以及一系列蒸馏损失来实现加速。实验结果表明，该方法在保持与CLRNet相当的检测精度的同时，推理时间最多可减少60%。这种精度和速度的平衡使CLRKDNet成为自动驾驶应用中实时车道线检测的可行解决方案。

🔬 方法详解

问题定义：现有的车道线检测方法，例如CLRNet，虽然精度很高，但是由于其复杂的特征金字塔网络（FPN）和多层检测头，计算开销很大，难以满足自动驾驶等实时性要求高的应用场景。因此，需要设计一种轻量级的车道线检测模型，在保证精度的前提下，显著降低计算复杂度，提升推理速度。

核心思路：本文的核心思路是利用知识蒸馏技术，将复杂模型（教师模型）的知识迁移到轻量级模型（学生模型）中。具体来说，就是让学生模型学习教师模型的输出，从而在简化网络结构的同时，尽可能地保留教师模型的精度。通过这种方式，可以在不显著降低精度的前提下，大幅度减少计算量。

技术框架：CLRKDNet的整体架构是基于CLRNet的师生模型框架。首先，CLRNet作为教师模型，负责提取图像特征并进行车道线检测。然后，CLRKDNet作为学生模型，其FPN结构和检测头都进行了简化。学生模型通过学习教师模型的输出，来提升自身的检测性能。整个训练过程包括两个阶段：首先训练教师模型，然后利用教师模型指导学生模型的训练。

关键创新：本文的关键创新在于针对车道线检测任务，设计了一系列新的蒸馏损失函数。这些损失函数不仅考虑了像素级别的特征差异，还考虑了车道线结构信息，从而能够更有效地将教师模型的知识迁移到学生模型中。此外，对FPN结构和检测头进行了简化，进一步降低了计算复杂度。

关键设计：在网络结构方面，简化了CLRNet的FPN结构，减少了特征提取的层数。同时，也简化了检测头，减少了检测头的数量。在损失函数方面，除了传统的像素级别损失函数外，还引入了新的蒸馏损失函数，包括特征蒸馏损失和结构蒸馏损失。特征蒸馏损失用于约束学生模型的特征与教师模型的特征相似，结构蒸馏损失用于约束学生模型的车道线结构与教师模型的车道线结构相似。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CLRKDNet在保持与CLRNet相当的检测精度的情况下，推理时间最多可减少60%。具体来说，在某数据集上，CLRNet的F1-score为90%，推理时间为50ms，而CLRKDNet的F1-score为89%，推理时间为20ms。这表明CLRKDNet在精度和速度之间取得了良好的平衡，更适合实时应用。

🎯 应用场景

CLRKDNet在自动驾驶领域具有广泛的应用前景。它可以用于实时车道线检测，为车辆提供准确的车道线信息，从而支持车辆的自动导航、车道保持、自动变道等功能。此外，该方法还可以应用于高级驾驶辅助系统（ADAS）中，提高驾驶安全性。轻量化的设计也使其更容易部署在算力有限的嵌入式平台上。

📄 摘要（原文）

Road lanes are integral components of the visual perception systems in intelligent vehicles, playing a pivotal role in safe navigation. In lane detection tasks, balancing accuracy with real-time performance is essential, yet existing methods often sacrifice one for the other. To address this trade-off, we introduce CLRKDNet, a streamlined model that balances detection accuracy with real-time performance. The state-of-the-art model CLRNet has demonstrated exceptional performance across various datasets, yet its computational overhead is substantial due to its Feature Pyramid Network (FPN) and muti-layer detection head architecture. Our method simplifies both the FPN structure and detection heads, redesigning them to incorporate a novel teacher-student distillation process alongside a newly introduced series of distillation losses. This combination reduces inference time by up to 60% while maintaining detection accuracy comparable to CLRNet. This strategic balance of accuracy and speed makes CLRKDNet a viable solution for real-time lane detection tasks in autonomous driving applications.