From Fragments to Global Maps: Learning Vectorized Map Aggregation with Large Language Models

📄 arXiv: 2610.02513v1 📥 PDF

作者: Ziwei Li, Yi-Tang Chen, Xiaoqi Wang, Wenbin He, Han-Wei Shen, Liu Ren

分类: cs.CV, cs.AI

发布日期: 2026-10-01

💡 一句话要点

提出MapMergeLLM以解决向量化地图聚合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 向量化地图 自动驾驶 地图聚合 大型语言模型 数据驱动方法 深度学习 智能交通

📋 核心要点

  1. 现有的地图聚合方法依赖于手工规则，无法有效处理道路结构变化和预测误差，导致聚合效果不佳。
  2. 本文提出MapMergeLLM，将地图聚合视为条件序列生成，利用大型语言模型直接预测全球地图多边形，减少对特定检测器的依赖。
  3. 在Argoverse2和nuScenes数据集上的实验表明，MapMergeLLM在性能上显著优于传统的启发式和优化基线方法。

📝 摘要（中文）

大规模向量化高清地图提供了自动驾驶中感知、定位和规划所需的结构化道路信息。构建此类地图需要将沿车辆轨迹收集的嘈杂、碎片化和重叠的局部预测聚合成一致的全球地图。现有的聚合方法通常依赖于手工规则进行碎片关联和精炼，但固定的阈值无法有效处理道路结构和预测误差的变化，往往需要特定检测器的调优或手动调整。为了解决这一限制，本文提出了MapMergeLLM，一个数据驱动的框架，将向量化地图聚合公式化为条件序列生成，利用大型语言模型直接预测聚合的全球地图多边形。通过在合成局部地图上训练模型，减少对特定上游检测器的依赖，实验结果表明，MapMergeLLM在多个数据集上显著优于基于启发式和优化的聚合基线。

🔬 方法详解

问题定义：本文旨在解决自动驾驶中向量化地图的聚合问题，现有方法由于依赖手工规则和固定阈值，无法灵活应对道路结构和预测误差的变化，导致聚合效果不理想。

核心思路：论文提出MapMergeLLM框架，将向量化地图聚合视为条件序列生成任务，利用大型语言模型进行聚合预测，从而减少对特定检测器的依赖，提升聚合的准确性和鲁棒性。

技术框架：整体架构包括数据预处理、局部地图序列化、模型训练和聚合预测四个主要模块。首先，将局部地图序列化为输入数据，然后通过大型语言模型进行训练，最后生成聚合的全球地图多边形。

关键创新：最重要的创新在于将地图聚合问题转化为序列生成任务，利用大型语言模型的强大能力进行聚合预测，显著提高了聚合的灵活性和准确性。

关键设计：设计了坐标标记器，并进行了几何感知的预训练，以精确表示地图坐标。此外，引入了线级关联损失，明确监督同一地图元素的局部观察之间的对应关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Argoverse2和nuScenes数据集上的实验结果显示，MapMergeLLM在聚合精度上显著优于传统的启发式和优化基线方法，具体提升幅度达到XX%（具体数据未知），验证了该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和地图服务等。通过提高向量化地图的聚合精度，能够更好地支持自动驾驶车辆的感知和决策，提升行车安全性和效率。未来，该技术有望在更广泛的智能交通场景中发挥重要作用。

📄 摘要（原文）

Large-scale vectorized HD maps provide structured road information that is essential for perception, localization, and planning in autonomous driving. Constructing such maps requires aggregating noisy, fragmented, and overlapping local predictions collected along a vehicle trajectory into a coherent global map. Existing aggregation methods typically rely on hand-crafted rules for fragment association and refinement. However, a fixed set of thresholds cannot effectively handle variations in road structures and prediction errors, often requiring detector-specific tuning or manual adjustment. To address this limitation, we propose MapMergeLLM, a data-driven framework that formulates vectorized map aggregation as conditional sequence generation with a large language model. Given serialized local vectorized maps, our model directly predicts the aggregated global map polylines. To reduce dependence on any particular upstream detector, we train the model on synthetic local maps generated from clean vector maps using corruptions that simulate representative prediction errors. We further introduce a coordinate tokenizer with geometry-aware pretraining to precisely represent map coordinates. In addition, we propose a line-level association loss that explicitly supervises correspondences between local observations of the same map element. Experiments on Argoverse2 and nuScenes using multiple recent upstream detectors demonstrate that MapMergeLLM substantially outperforms heuristic and optimization-based aggregation baselines without detector-specific retraining.