Multimodal HD Mapping for Intersections by Intelligent Roadside Units

📄 arXiv: 2507.08903v1 📥 PDF

作者: Zhongzhang Chen, Miao Fan, Shengtong Xu, Mengmeng Yang, Kun Jiang, Xiangzeng Liu, Haoyi Xiong

分类: cs.RO, cs.CV

发布日期: 2025-07-11

备注: Accepted by ITSC'25

💡 一句话要点

利用智能路侧单元，提出多模态融合的高精地图构建方法，解决复杂路口遮挡问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高精地图 多模态融合 智能路侧单元 相机-激光雷达融合 语义分割

📋 核心要点

  1. 传统车载高精地图构建方法在复杂路口面临遮挡和视角局限，难以获取完整准确的环境信息。
  2. 利用智能路侧单元（IRU）的相机和激光雷达数据，提出一种多模态融合框架，结合纹理和几何信息。
  3. 构建了RS-seq数据集，实验表明该方法在语义分割任务中，mIoU比单模态方法提升显著。

📝 摘要（中文）

本文提出了一种新颖的相机-激光雷达融合框架，利用高架智能路侧单元（IRU）进行复杂路口的语义高精地图构建，克服了传统车载方法因遮挡和视角限制带来的挑战。同时，通过系统性地增强和标注V2X-Seq数据集，构建了一个全面的数据集RS-seq。RS-seq包含来自路侧装置的精确标注的相机图像和激光雷达点云，以及七个路口的矢量化地图，标注了车道分隔线、人行横道和停止线等详细特征。该数据集有助于系统地研究使用IRU数据进行高精地图生成的跨模态互补性。所提出的融合框架采用两阶段过程，整合了模态特定的特征提取和跨模态语义融合，利用相机的高分辨率纹理和激光雷达的精确几何数据。在RS-seq数据集上的定量评估表明，我们的多模态方法始终优于单模态方法。具体而言，与在RS-seq数据集上评估的单模态基线相比，多模态方法在语义分割方面的平均交并比（mIoU）比仅图像结果提高了4％，比仅点云结果提高了18％。这项研究为基于IRU的高精语义地图构建建立了一个基准方法，并为未来基础设施辅助自动驾驶系统的研究提供了一个有价值的数据集。

🔬 方法详解

问题定义：论文旨在解决复杂路口高精地图构建中，由于车辆视角受限和遮挡导致的信息缺失问题。现有车载传感器方案难以提供全面、准确的环境感知，尤其是在交叉路口等复杂场景下，这严重制约了自动驾驶系统的性能和安全性。

核心思路：论文的核心思路是利用架设在路侧的智能单元（IRU），通过多模态传感器（相机和激光雷达）融合感知，弥补车载传感器的不足。IRU具有更高的视角和更广的覆盖范围，能够有效减少遮挡，获取更全面的环境信息。通过融合相机提供的纹理信息和激光雷达提供的几何信息，可以实现更精确的语义分割和地图构建。

技术框架：该框架包含两个主要阶段：模态特定特征提取和跨模态语义融合。首先，分别使用独立的网络提取相机图像和激光雷达点云的特征。然后，设计跨模态融合模块，将两种模态的特征进行有效融合，以获得更鲁棒和准确的语义表示。最后，使用融合后的特征进行语义分割，生成高精地图。

关键创新：该论文的关键创新在于利用智能路侧单元进行多模态高精地图构建，并提出了一种有效的跨模态融合框架。与传统的车载传感器方案相比，该方法能够有效解决遮挡问题，提供更全面的环境信息。此外，RS-seq数据集的构建也为该领域的研究提供了宝贵的数据资源。

关键设计：具体的技术细节包括：针对相机图像和激光雷达点云分别设计了不同的特征提取网络，例如可以使用ResNet或PointNet等。跨模态融合模块的设计可以采用注意力机制或特征拼接等方法。损失函数方面，可以使用交叉熵损失或Dice损失等，以优化语义分割的性能。数据集RS-seq包含了详细的标注信息，包括车道线、人行横道、交通信号灯等，为模型的训练和评估提供了支持。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，该多模态融合方法在RS-seq数据集上取得了显著的性能提升。与仅使用图像的单模态方法相比，mIoU提高了4%；与仅使用点云的单模态方法相比，mIoU提高了18%。这充分验证了多模态融合的有效性，以及智能路侧单元在高精地图构建中的优势。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶、智慧城市等领域。通过在关键路口部署智能路侧单元，可以构建高精度、实时的环境感知系统，为自动驾驶车辆提供更安全可靠的导航信息。此外，该技术还可以用于交通流量监控、行人安全预警等方面，提升城市交通管理的智能化水平。

📄 摘要（原文）

High-definition (HD) semantic mapping of complex intersections poses significant challenges for traditional vehicle-based approaches due to occlusions and limited perspectives. This paper introduces a novel camera-LiDAR fusion framework that leverages elevated intelligent roadside units (IRUs). Additionally, we present RS-seq, a comprehensive dataset developed through the systematic enhancement and annotation of the V2X-Seq dataset. RS-seq includes precisely labelled camera imagery and LiDAR point clouds collected from roadside installations, along with vectorized maps for seven intersections annotated with detailed features such as lane dividers, pedestrian crossings, and stop lines. This dataset facilitates the systematic investigation of cross-modal complementarity for HD map generation using IRU data. The proposed fusion framework employs a two-stage process that integrates modality-specific feature extraction and cross-modal semantic integration, capitalizing on camera high-resolution texture and precise geometric data from LiDAR. Quantitative evaluations using the RS-seq dataset demonstrate that our multimodal approach consistently surpasses unimodal methods. Specifically, compared to unimodal baselines evaluated on the RS-seq dataset, the multimodal approach improves the mean Intersection-over-Union (mIoU) for semantic segmentation by 4\% over the image-only results and 18\% over the point cloud-only results. This study establishes a baseline methodology for IRU-based HD semantic mapping and provides a valuable dataset for future research in infrastructure-assisted autonomous driving systems.