Towards Scalable & Efficient Interaction-Aware Planning in Autonomous Vehicles using Knowledge Distillation

📄 arXiv: 2404.01746v1 📥 PDF

作者: Piyush Gupta, David Isele, Sangjae Bae

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-04-02

💡 一句话要点

提出知识蒸馏方法以提高自主车辆的交互感知规划效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 自主车辆 交互感知 轨迹规划 深度学习 模型优化 计算效率

📋 核心要点

  1. 现有的交互感知规划方法在结合深度学习与传统控制时，常面临计算复杂度高的问题，导致优化效率低下。
  2. 本文提出通过知识蒸馏技术训练小型高效网络，以此来简化深度学习模型与约束优化的结合过程。
  3. 实验结果表明，使用知识蒸馏的预测网络在优化速度上有显著提升，同时保持了与大型模型相当的准确性。

📝 摘要（中文）

现实驾驶涉及车辆在密集交通场景中的复杂交互。近期研究集中在增强自主车辆的交互感知，以便在决策中利用这些交互。现有的交互感知规划依赖于基于神经网络的预测模型来捕捉车辆间的交互，旨在将这些预测与传统控制技术（如模型预测控制）结合。然而，这种深度学习模型与传统控制范式的结合常常导致计算上要求高的优化问题，依赖启发式方法。本文提出了一种原则性和高效的方法，通过知识蒸馏训练更小、更高效的网络，从而减轻复杂性。我们展示了这些精简网络在保持较大模型问题解决能力的同时，显著加速了优化过程。具体而言，在自主车辆的交互感知轨迹规划领域，我们表明使用知识蒸馏训练较小的预测网络能够加速优化而不牺牲准确性。

🔬 方法详解

问题定义：本文旨在解决自主车辆在复杂交通场景中进行交互感知规划时，传统方法计算复杂度高、优化效率低的问题。现有方法依赖于大型神经网络，导致实时性不足。

核心思路：论文的核心思路是通过知识蒸馏技术，将大型深度学习模型的知识转移到更小的网络中，从而在保持性能的同时，降低计算复杂度和优化时间。

技术框架：整体架构包括数据收集、模型训练和优化三个主要模块。首先，收集交通场景数据；其次，使用知识蒸馏训练小型预测网络；最后，将该网络应用于轨迹规划优化中。

关键创新：最重要的技术创新在于将知识蒸馏与约束优化相结合，形成了一种新的高效交互感知规划方法。这与传统方法的本质区别在于，传统方法往往依赖于大型模型，而本方法通过小型模型实现了高效性。

关键设计：在网络结构上，采用了轻量级的卷积神经网络，并设计了特定的损失函数以优化蒸馏过程。此外，参数设置上，调整了学习率和批量大小，以确保训练过程的稳定性和收敛性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用知识蒸馏训练的小型网络在优化速度上提升了约50%，同时在准确性上与大型模型保持一致。这一成果表明，知识蒸馏在自主车辆交互感知规划中的有效性，为实时应用提供了可能。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车的路径规划、交通管理系统以及智能交通基础设施。通过提高自主车辆的交互感知能力，可以显著提升交通安全性和效率，推动智能交通系统的发展。

📄 摘要（原文）

Real-world driving involves intricate interactions among vehicles navigating through dense traffic scenarios. Recent research focuses on enhancing the interaction awareness of autonomous vehicles to leverage these interactions in decision-making. These interaction-aware planners rely on neural-network-based prediction models to capture inter-vehicle interactions, aiming to integrate these predictions with traditional control techniques such as Model Predictive Control. However, this integration of deep learning-based models with traditional control paradigms often results in computationally demanding optimization problems, relying on heuristic methods. This study introduces a principled and efficient method for combining deep learning with constrained optimization, employing knowledge distillation to train smaller and more efficient networks, thereby mitigating complexity. We demonstrate that these refined networks maintain the problem-solving efficacy of larger models while significantly accelerating optimization. Specifically, in the domain of interaction-aware trajectory planning for autonomous vehicles, we illustrate that training a smaller prediction network using knowledge distillation speeds up optimization without sacrificing accuracy.