The P$^3$ dataset: Pixels, Points and Polygons for Multimodal Building Vectorization

📄 arXiv: 2505.15379v1 📥 PDF

作者: Raphael Sulzer, Liuyun Duan, Nicolas Girard, Florent Lafarge

分类: cs.CV

发布日期: 2025-05-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出P³数据集，用于多模态建筑物矢量化，融合像素、点云和多边形信息

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 建筑物矢量化 多模态融合 LiDAR点云 航空影像 深度学习

📋 核心要点

  1. 现有建筑物矢量化数据集多侧重图像模态，缺乏对3D信息的充分利用，限制了算法性能。
  2. P³数据集融合了像素、点云和多边形信息，提供互补视角，促进多模态融合的建筑物矢量化研究。
  3. 实验表明，LiDAR点云是预测建筑物多边形的有效模态，多模态融合能进一步提升精度和几何质量。

📝 摘要（中文）

本文提出了P³数据集，这是一个大规模多模态基准，用于建筑物矢量化。该数据集由来自三大洲的航空LiDAR点云、高分辨率航空图像和矢量化2D建筑物轮廓构成。数据集包含超过100亿个精度达到分米级的LiDAR点，以及地面采样距离为25厘米的RGB图像。与许多主要关注图像模态的现有数据集不同，P³通过整合密集的3D信息，提供了一个互补的视角。实验证明，LiDAR点云可以作为预测建筑物多边形的强大模态，无论是在混合学习框架还是端到端学习框架中。此外，融合航空LiDAR和图像可以进一步提高预测多边形的精度和几何质量。P³数据集已公开，同时提供了用于建筑物多边形预测的三种最先进模型的代码和预训练权重，地址为https://github.com/raphaelsulzer/PixelsPointsPolygons。

🔬 方法详解

问题定义：论文旨在解决建筑物矢量化问题，即从航空图像和LiDAR点云中自动提取建筑物轮廓。现有方法主要依赖图像数据，忽略了LiDAR点云提供的精确3D几何信息，导致在复杂场景下矢量化精度不足。

核心思路：论文的核心思路是利用多模态数据融合，特别是结合LiDAR点云和航空图像的优势，提高建筑物矢量化的准确性和鲁棒性。LiDAR点云提供精确的3D几何信息，可以弥补图像在遮挡和光照变化下的不足。

技术框架：整体框架包含数据采集、数据预处理、模型训练和结果评估等阶段。数据采集阶段收集航空图像、LiDAR点云和建筑物轮廓数据。数据预处理阶段对数据进行配准、滤波和分割等处理。模型训练阶段使用深度学习模型，例如PointNet++或Mask R-CNN，进行建筑物多边形预测。结果评估阶段使用IoU、精度和召回率等指标评估模型性能。

关键创新：该论文的关键创新在于构建了一个大规模多模态数据集P³，该数据集同时包含像素、点云和多边形信息，为多模态建筑物矢量化研究提供了基准。此外，论文验证了LiDAR点云在建筑物矢量化中的有效性，并证明了多模态融合可以进一步提升性能。

关键设计：论文使用了多种深度学习模型进行实验，包括基于点云的PointNet++和基于图像的Mask R-CNN。针对多模态融合，论文探索了不同的融合策略，例如特征级融合和决策级融合。损失函数方面，论文使用了交叉熵损失和Dice损失等，以优化多边形预测的精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明，LiDAR点云可以作为一种有效的建筑物多边形预测模态，并且与仅使用图像数据的方法相比，精度更高。此外，融合LiDAR点云和航空图像可以进一步提高预测多边形的精度和几何质量。具体性能数据未知，但论文强调了多模态融合带来的显著提升。

🎯 应用场景

该研究成果可应用于智慧城市建设、地理信息系统更新、灾害评估和城市规划等领域。通过自动提取建筑物轮廓，可以快速生成城市三维模型，为城市管理和决策提供支持。在灾害评估中，可以利用该技术快速评估建筑物受损情况，为救援工作提供指导。未来，该技术有望与无人机等平台结合，实现建筑物信息的实时采集和更新。

📄 摘要（原文）

We present the P$^3$ dataset, a large-scale multimodal benchmark for building vectorization, constructed from aerial LiDAR point clouds, high-resolution aerial imagery, and vectorized 2D building outlines, collected across three continents. The dataset contains over 10 billion LiDAR points with decimeter-level accuracy and RGB images at a ground sampling distance of 25 centimeter. While many existing datasets primarily focus on the image modality, P$^3$ offers a complementary perspective by also incorporating dense 3D information. We demonstrate that LiDAR point clouds serve as a robust modality for predicting building polygons, both in hybrid and end-to-end learning frameworks. Moreover, fusing aerial LiDAR and imagery further improves accuracy and geometric quality of predicted polygons. The P$^3$ dataset is publicly available, along with code and pretrained weights of three state-of-the-art models for building polygon prediction at https://github.com/raphaelsulzer/PixelsPointsPolygons .