V2X-AHD:Vehicle-to-Everything Cooperation Perception via Asymmetric Heterogenous Distillation Network

📄 arXiv: 2310.06603v1 📥 PDF

作者: Caizhen He, Hai Wang, Long Chen, Tong Luo, Yingfeng Cai

分类: cs.AI, cs.CV, cs.RO

发布日期: 2023-10-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出V2X-AHD以解决多视角车辆道路合作感知问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 车辆道路合作感知 3D物体检测 不对称异构蒸馏 多视角特征融合 稀疏卷积 智能交通系统 自动驾驶

📋 核心要点

  1. 现有的多视角合作感知方法在融合复杂性上过于关注，忽略了单视角轮廓缺失带来的问题。
  2. 本文提出V2X-AHD系统，通过不对称异构蒸馏网络和Spara Pillar特征提取，提升车辆形状预测能力。
  3. 在V2Xset数据集上，V2X-AHD方法实现了最先进的3D物体检测结果，显著提高了准确性并减少了参数数量。

📝 摘要（中文）

物体检测是智能交通系统的核心问题，近年来基于单车激光雷达的3D检测取得了显著进展，能够为智能代理提供准确的位置决策信息。与单车感知相比，多视角车辆道路合作感知具有消除盲区和更广泛感知范围的基本优势，成为研究热点。然而，现有合作感知方法过于关注融合复杂性，忽视了单视角轮廓缺失带来的根本问题。为此，本文提出了一种多视角车辆道路合作感知系统V2X-AHD，旨在增强识别能力，特别是车辆形状预测。我们提出了一个不对称异构蒸馏网络，通过不同的训练数据提高轮廓识别的准确性，并将多视角教师特征转移到单视角学生特征。实验结果表明，该方法在V2Xset数据集上实现了最先进的结果，能够有效提高3D物体检测的准确性并减少网络参数。

🔬 方法详解

问题定义：本文旨在解决多视角车辆道路合作感知中的轮廓识别问题，现有方法在处理单视角数据时存在盲区，导致识别准确性不足。

核心思路：提出不对称异构蒸馏网络，通过不同视角的数据训练，提升单视角特征的识别能力，特别是在车辆形状预测方面。

技术框架：整体架构包括不对称异构蒸馏网络和Spara Pillar特征提取模块，利用多头自注意力机制进行特征融合，确保特征表达的平滑性。

关键创新：最重要的创新在于不对称异构蒸馏网络的设计，使得多视角教师特征能够有效转移到单视角学生特征，解决了传统方法中的信息损失问题。

关键设计：采用稀疏卷积作为特征提取的基础，减少参数数量，同时通过轻量化设计提升特征融合的效率，确保在保持性能的同时降低计算复杂度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在V2Xset数据集上的实验结果显示，V2X-AHD方法在3D物体检测任务中达到了最先进的性能，相较于基线方法，准确性显著提升，且网络参数数量减少，展现出良好的实用性和效率。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶车辆和城市交通管理等。通过提高3D物体检测的准确性，V2X-AHD能够为智能交通决策提供更可靠的数据支持，推动智能交通技术的发展与应用。

📄 摘要（原文）

Object detection is the central issue of intelligent traffic systems, and recent advancements in single-vehicle lidar-based 3D detection indicate that it can provide accurate position information for intelligent agents to make decisions and plan. Compared with single-vehicle perception, multi-view vehicle-road cooperation perception has fundamental advantages, such as the elimination of blind spots and a broader range of perception, and has become a research hotspot. However, the current perception of cooperation focuses on improving the complexity of fusion while ignoring the fundamental problems caused by the absence of single-view outlines. We propose a multi-view vehicle-road cooperation perception system, vehicle-to-everything cooperative perception (V2X-AHD), in order to enhance the identification capability, particularly for predicting the vehicle's shape. At first, we propose an asymmetric heterogeneous distillation network fed with different training data to improve the accuracy of contour recognition, with multi-view teacher features transferring to single-view student features. While the point cloud data are sparse, we propose Spara Pillar, a spare convolutional-based plug-in feature extraction backbone, to reduce the number of parameters and improve and enhance feature extraction capabilities. Moreover, we leverage the multi-head self-attention (MSA) to fuse the single-view feature, and the lightweight design makes the fusion feature a smooth expression. The results of applying our algorithm to the massive open dataset V2Xset demonstrate that our method achieves the state-of-the-art result. The V2X-AHD can effectively improve the accuracy of 3D object detection and reduce the number of network parameters, according to this study, which serves as a benchmark for cooperative perception. The code for this article is available at https://github.com/feeling0414-lab/V2X-AHD.