Semantic BIM enrichment for firefighting assets: Fire-ART dataset and panoramic image-based 3D reconstruction

📄 arXiv: 2511.01399v1 📥 PDF

作者: Ya Wen, Yutong Qiao, Chi Chiu Lam, Ioannis Brilakis, Sanghoon Lee, Mun On Wong

分类: cs.CV

发布日期: 2025-11-03

DOI: 10.1016/j.isprsjprs.2025.11.015

💡 一句话要点

提出Fire-ART数据集，并设计基于全景图像的3D重建方法，用于消防资产的BIM语义增强。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 消防资产管理 BIM语义增强 全景图像 三维重建 深度学习 语义分割 Fire-ART数据集

📋 核心要点

  1. 传统消防资产管理方法在自动识别和重建方面存在局限性，效率低下，难以满足应急准备和风险评估的需求。
  2. 论文提出了一种基于全景图像的3D重建方法，结合改进的立方体贴图转换和球面相机投影，提升资产识别和定位的准确性。
  3. 实验结果表明，该方法在真实场景中取得了良好的识别精度（F1分数高达88%）和定位精度（定位误差低至0.428米）。

📝 摘要（中文）

本研究针对消防资产管理中自动识别和重建能力不足的问题，提出了Fire-ART数据集，并开发了一种基于全景图像的重建方法，用于将消防资产的语义信息增强到BIM模型中。Fire-ART数据集包含15种基本资产，共2626张图像和6627个实例，是一个公开的大型资产识别数据集。该重建方法集成了改进的立方体贴图转换和基于半径的球面相机投影，以提高识别和定位精度。通过两个真实案例的验证，该方法分别实现了73%和88%的F1分数，以及0.620米和0.428米的定位误差。Fire-ART数据集和重建方法为消防安全设备的精确数字化管理提供了有价值的资源和可靠的技术方案。

🔬 方法详解

问题定义：现有消防资产管理依赖人工盘点，效率低且易出错。缺乏自动化的资产识别和三维重建技术，难以实现消防资产的数字化管理和BIM集成。现有方法在处理复杂环境和多样化消防资产时，鲁棒性和精度不足。

核心思路：利用全景图像提供360度的环境信息，克服传统图像视野有限的问题。通过改进的立方体贴图转换和球面相机投影，更准确地估计相机位姿和资产位置。结合深度学习的语义分割技术，实现消防资产的自动识别和语义标注。

技术框架：该方法主要包含以下几个阶段：1) 数据采集：使用全景相机采集消防场景图像，并手动标注消防资产。2) 图像预处理：进行立方体贴图转换，将全景图像转换为六个正交视图。3) 语义分割：使用深度学习模型对图像进行语义分割，识别消防资产。4) 三维重建：利用球面相机投影模型，结合语义分割结果，重建消防资产的三维模型。5) BIM集成：将重建的三维模型和语义信息集成到BIM模型中。

关键创新：1) Fire-ART数据集：构建了一个大规模、公开可用的消防资产数据集，包含多种类型的消防设备。2) 改进的立方体贴图转换：优化了立方体贴图转换算法，减少了图像畸变。3) 基于半径的球面相机投影：提出了一种新的相机投影模型，提高了定位精度。

关键设计：1) 数据集标注：对Fire-ART数据集中的每个消防资产进行精确的边界框标注和语义标注。2) 语义分割模型：采用Mask R-CNN作为语义分割模型，并针对消防资产的特点进行了微调。3) 球面相机投影模型：基于全景图像的特性，设计了基于半径的球面相机投影模型，用于估计相机位姿和资产位置。4) 损失函数：采用交叉熵损失函数训练语义分割模型，并采用均方误差损失函数优化相机位姿估计。

📊 实验亮点

实验结果表明，该方法在两个真实案例中均取得了良好的性能。在案例一中，F1分数为73%，定位误差为0.620米；在案例二中，F1分数为88%，定位误差为0.428米。相较于传统方法，该方法在识别精度和定位精度方面均有显著提升。Fire-ART数据集的发布为消防资产识别领域的研究提供了宝贵的数据资源。

🎯 应用场景

该研究成果可应用于智慧消防领域，实现消防资产的自动化管理和维护，提高消防应急响应效率。通过将消防资产的语义信息集成到BIM模型中，可以为建筑设计、施工和运维提供更全面的消防安全信息，提升建筑的整体安全性。未来可扩展到其他类型的建筑资产管理，例如暖通空调设备、电气设备等。

📄 摘要（原文）

Inventory management of firefighting assets is crucial for emergency preparedness, risk assessment, and on-site fire response. However, conventional methods are inefficient due to limited capabilities in automated asset recognition and reconstruction. To address the challenge, this research introduces the Fire-ART dataset and develops a panoramic image-based reconstruction approach for semantic enrichment of firefighting assets into BIM models. The Fire-ART dataset covers 15 fundamental assets, comprising 2,626 images and 6,627 instances, making it an extensive and publicly accessible dataset for asset recognition. In addition, the reconstruction approach integrates modified cube-map conversion and radius-based spherical camera projection to enhance recognition and localization accuracy. Through validations with two real-world case studies, the proposed approach achieves F1-scores of 73% and 88% and localization errors of 0.620 and 0.428 meters, respectively. The Fire-ART dataset and the reconstruction approach offer valuable resources and robust technical solutions to enhance the accurate digital management of fire safety equipment.