Are Open-Vocabulary Models Ready for Detection of MEP Elements on Construction Sites

📄 arXiv: 2501.09267v2 📥 PDF

作者: Abdalwhab Abdalwhab, Ali Imran, Sina Heydarian, Ivanka Iordanova, David St-Onge

分类: cs.CV, cs.RO

发布日期: 2025-01-16 (更新: 2025-04-12)

备注: 4 pages, 3 figures, Accepted for presentation at the 42nd International Symposium on Automation and Robotics in Construction

💡 一句话要点

评估开放词汇模型在建筑工地MEP元件检测中的适用性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 建筑工地 MEP元件检测 开放词汇模型 目标检测 机器人视觉

📋 核心要点

  1. 建筑工地环境复杂，利用机器人视觉进行MEP元件检测面临精度和效率的挑战。
  2. 该研究对比开放词汇视觉语言模型与微调轻量级目标检测器在MEP元件检测中的性能。
  3. 实验结果表明，在特定领域任务中，微调的轻量级模型性能优于开放词汇视觉语言模型。

📝 摘要（中文）

建筑行业长期以来一直在探索机器人和计算机视觉技术，但它们在建筑工地的部署仍然非常有限。这些技术有潜力通过提高建筑管理的准确性、效率和安全性来彻底改变传统工作流程。配备先进视觉系统的地面机器人可以自动执行诸如监控机械、电气和管道（MEP）系统等任务。本研究评估了开放词汇视觉语言模型与微调的轻量级、闭集目标检测器相比，在利用移动地面机器人平台检测MEP组件方面的适用性。通过手动标注和分析使用安装在地面机器人上的摄像头收集的数据集，比较了模型的性能。结果表明，尽管视觉语言模型具有通用性，但在专门的环境和特定领域的任务中，微调的轻量级模型在很大程度上仍然优于它们。

🔬 方法详解

问题定义：论文旨在评估开放词汇视觉语言模型在建筑工地MEP（机械、电气、管道）元件检测任务中的适用性。现有方法，如传统的闭集目标检测器，需要大量标注数据进行训练，且泛化能力有限。开放词汇模型虽然具有更强的泛化能力，但在特定领域任务中的性能有待评估。

核心思路：论文的核心思路是对比开放词汇视觉语言模型和微调的轻量级闭集目标检测器在MEP元件检测任务中的性能。通过实验分析，确定哪种模型更适合在建筑工地环境中使用地面机器人进行MEP元件的自动化检测。

技术框架：该研究的技术框架主要包括以下几个步骤：1）使用配备摄像头的地面机器人在建筑工地收集MEP元件的图像数据；2）对收集到的图像数据进行手动标注，构建用于模型训练和评估的数据集；3）选择具有代表性的开放词汇视觉语言模型和轻量级闭集目标检测器；4）对闭集目标检测器进行微调，使其适应MEP元件检测任务；5）在构建的数据集上评估两种模型的性能，并进行对比分析。

关键创新：该研究的关键创新在于首次对比评估了开放词汇视觉语言模型和微调的轻量级闭集目标检测器在建筑工地MEP元件检测任务中的性能。这为在建筑工地部署基于机器人视觉的自动化检测系统提供了有价值的参考。

关键设计：论文的关键设计包括：1）数据集的构建，确保数据集包含各种类型的MEP元件和不同的光照、遮挡等场景；2）模型选择，选择具有代表性的开放词汇视觉语言模型和轻量级闭集目标检测器；3）评估指标的选择，使用精确率、召回率、F1值等指标综合评估模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在建筑工地MEP元件检测任务中，微调的轻量级闭集目标检测器在性能上优于开放词汇视觉语言模型。这表明，在特定领域任务中，针对性训练的模型仍然具有优势。具体的性能数据（精确率、召回率等）未在摘要中给出，需要在论文正文中查找。

🎯 应用场景

该研究成果可应用于建筑工地的自动化巡检、MEP元件的安装质量检测、以及基于机器人的建筑信息模型（BIM）更新等领域。通过提高检测效率和准确性，降低人工成本，提升施工质量和安全性。未来，可进一步结合SLAM等技术，实现MEP元件的自主定位和识别。

📄 摘要（原文）

The construction industry has long explored robotics and computer vision, yet their deployment on construction sites remains very limited. These technologies have the potential to revolutionize traditional workflows by enhancing accuracy, efficiency, and safety in construction management. Ground robots equipped with advanced vision systems could automate tasks such as monitoring mechanical, electrical, and plumbing (MEP) systems. The present research evaluates the applicability of open-vocabulary vision-language models compared to fine-tuned, lightweight, closed-set object detectors for detecting MEP components using a mobile ground robotic platform. A dataset collected with cameras mounted on a ground robot was manually annotated and analyzed to compare model performance. The results demonstrate that, despite the versatility of vision-language models, fine-tuned lightweight models still largely outperform them in specialized environments and for domain-specific tasks.