CleanMAP: Distilling Multimodal LLMs for Confidence-Driven Crowdsourced HD Map Updates

📄 arXiv: 2504.10738v1 📥 PDF

作者: Ankit Kumar Shaw, Kun Jiang, Tuopu Wen, Chandan Kumar Sah, Yining Shi, Mengmeng Yang, Diange Yang, Xiaoli Lian

分类: cs.CV, cs.AI, cs.CL, cs.LG, cs.RO

发布日期: 2025-04-14

备注: Kun Jiang, Mengmeng Yang and Diange Yang are Corresponding Author. The main paper and supplementary material are both included here, total 23 pages (main paper is 10 pages and supplementary material is 13 pages), total 17 figures (6 figures in main paper and 11 figures in supplementary material), this paper is Accepted to CVPR WDFM-AD Workshop 2025, The code will be available at https://Ankit-Zefan.github.io/CleanMap/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

CleanMAP：一种基于多模态LLM蒸馏的置信度驱动众包HD地图更新方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: HD地图更新 多模态大语言模型 众包数据 置信度评估 数据融合 自动驾驶 车道检测

📋 核心要点

  1. 现有众包HD地图更新方法易受数据质量影响，如光照、天气和模糊等因素导致地图精度下降。
  2. CleanMAP利用多模态LLM对众包数据进行置信度评分和过滤，并提出动态分段置信度评分函数。
  3. 实验表明，CleanMAP能有效降低地图更新误差至0.28米，且与人工评估具有高度一致性（84.88%）。

📝 摘要（中文）

随着智能网联汽车和车路云一体化系统的快速发展，对精确、实时的HD地图更新需求日益增长。然而，由于众包数据中存在运动模糊、光照变化、恶劣天气和车道线退化等问题，保证地图的可靠性仍然具有挑战性。本文提出了CleanMAP，一个基于多模态大语言模型（MLLM）的蒸馏框架，旨在过滤和优化众包数据，以实现高置信度的HD地图更新。CleanMAP利用MLLM驱动的车道可见性评分模型，系统地量化关键视觉参数，并根据它们对车道检测的影响分配置信度分数（0-10）。一种新颖的动态分段置信度评分函数根据车道可见性调整分数，确保与人类评估的高度一致性，同时有效地过滤不可靠的数据。为了进一步优化地图精度，一种置信度驱动的局部地图融合策略对最佳置信度范围（最佳分数减去10%）内的前k个最高分局部地图进行排序和选择，从而在数据质量和数量之间取得平衡。在真实自动驾驶车辆数据集上的实验评估验证了CleanMAP的有效性，结果表明融合前三个局部地图实现了0.28米的最低平均地图更新误差，优于基线（0.37米），并满足了严格的精度阈值（<= 0.32米）。使用真实车辆数据的进一步验证证实了与人类评估者84.88%的一致性，增强了模型的鲁棒性和可靠性。这项工作将CleanMAP确立为一种可扩展且可部署的众包HD地图更新解决方案，确保更精确和可靠的自动驾驶导航。

🔬 方法详解

问题定义：论文旨在解决众包HD地图更新中，由于数据质量参差不齐（如运动模糊、光照变化、恶劣天气等）导致地图精度下降的问题。现有方法难以有效区分和过滤低质量数据，从而影响了地图的可靠性。

核心思路：论文的核心思路是利用多模态大语言模型（MLLM）对众包数据进行质量评估，并基于评估结果进行数据过滤和融合。通过MLLM对车道可见性等关键视觉参数进行量化评分，从而实现对数据质量的有效判断。

技术框架：CleanMAP框架主要包含以下几个阶段：1) MLLM驱动的车道可见性评分模型：利用MLLM对众包数据中的车道可见性进行评分，生成置信度分数。2) 动态分段置信度评分函数：根据车道可见性动态调整置信度分数，与人类评估对齐。3) 置信度驱动的局部地图融合：选择置信度最高的top-k局部地图进行融合，生成最终的HD地图更新。

关键创新：论文的关键创新在于提出了基于MLLM的置信度评分模型和动态分段置信度评分函数。与传统方法相比，该方法能够更准确地评估众包数据的质量，并根据评估结果进行自适应的数据过滤和融合。

关键设计：动态分段置信度评分函数是关键设计之一，它根据车道可见性将置信度分数划分为不同的区间，并根据区间调整评分策略。此外，置信度驱动的局部地图融合策略也至关重要，它通过选择最佳置信度范围内的top-k地图进行融合，在数据质量和数量之间取得了平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CleanMAP在真实自动驾驶车辆数据集上取得了显著的性能提升。融合前三个局部地图时，CleanMAP实现了0.28米的平均地图更新误差，优于基线方法（0.37米），并满足了严格的精度阈值（<= 0.32米）。此外，CleanMAP与人类评估者的一致性高达84.88%，验证了模型的鲁棒性和可靠性。

🎯 应用场景

CleanMAP可应用于自动驾驶、高精地图服务、智能交通等领域。通过提升众包HD地图的更新精度和可靠性，可以提高自动驾驶车辆的导航安全性，降低事故风险。该方法还可用于构建更精确的城市交通模型，优化交通流量，提升城市交通效率。

📄 摘要（原文）

The rapid growth of intelligent connected vehicles (ICVs) and integrated vehicle-road-cloud systems has increased the demand for accurate, real-time HD map updates. However, ensuring map reliability remains challenging due to inconsistencies in crowdsourced data, which suffer from motion blur, lighting variations, adverse weather, and lane marking degradation. This paper introduces CleanMAP, a Multimodal Large Language Model (MLLM)-based distillation framework designed to filter and refine crowdsourced data for high-confidence HD map updates. CleanMAP leverages an MLLM-driven lane visibility scoring model that systematically quantifies key visual parameters, assigning confidence scores (0-10) based on their impact on lane detection. A novel dynamic piecewise confidence-scoring function adapts scores based on lane visibility, ensuring strong alignment with human evaluations while effectively filtering unreliable data. To further optimize map accuracy, a confidence-driven local map fusion strategy ranks and selects the top-k highest-scoring local maps within an optimal confidence range (best score minus 10%), striking a balance between data quality and quantity. Experimental evaluations on a real-world autonomous vehicle dataset validate CleanMAP's effectiveness, demonstrating that fusing the top three local maps achieves the lowest mean map update error of 0.28m, outperforming the baseline (0.37m) and meeting stringent accuracy thresholds (<= 0.32m). Further validation with real-vehicle data confirms 84.88% alignment with human evaluators, reinforcing the model's robustness and reliability. This work establishes CleanMAP as a scalable and deployable solution for crowdsourced HD map updates, ensuring more precise and reliable autonomous navigation. The code will be available at https://Ankit-Zefan.github.io/CleanMap/