Unified Few-shot Crack Segmentation and its Precise 3D Automatic Measurement in Concrete Structures
作者: Pengru Deng, Jiapeng Yao, Chun Li, Su Wang, Xinrun Li, Varun Ojha, Xuhui He, Takashi Matsumoto
分类: cs.CV, cs.RO
发布日期: 2025-01-15
💡 一句话要点
提出一种统一的混凝土裂缝少样本分割与精确3D自动测量方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 裂缝检测 三维重建 同步定位与地图构建 多模态融合 少样本学习 混凝土结构 点云处理
📋 核心要点
- 现有裂缝检测方法缺乏对多样化场景的适应性，基于图像的方法鲁棒性有限，难以处理弯曲或复杂几何形状。
- 该研究提出一种融合计算机视觉和多模态SLAM的框架，实现裂缝的2D检测、3D重建和3D自动测量。
- 实验结果表明，该方法在各种混凝土结构上表现出显著的改进和优势，验证了其有效性、准确性和鲁棒性。
📝 摘要（中文）
本研究提出了一种创新的混凝土裂缝二维检测、三维重建和三维自动测量框架，该框架集成了计算机视觉技术和多模态同步定位与地图构建（SLAM）。首先，在DeepLabv3+分割模型的基础上，结合基础模型Segment Anything Model（SAM）进行改进，开发了一种在不熟悉场景中具有强大泛化能力的裂缝分割方法，能够生成精确的二维裂缝掩模。为了提高三维重建的准确性和鲁棒性，利用激光雷达（LiDAR）点云以及图像数据和分割掩模。通过结合图像和LiDAR-SLAM，开发了一种多帧多模态融合框架，生成密集的彩色点云，有效地捕捉了真实世界尺度下的三维裂缝语义。此外，在三维密集点云空间内自动直接测量裂缝几何属性，超越了传统基于二维图像测量的局限性。该方法适用于具有弯曲和复杂三维几何形状的结构部件。在各种混凝土结构上的实验结果突出了所提出方法的显著改进和独特优势，证明了其在实际应用中的有效性、准确性和鲁棒性。
🔬 方法详解
问题定义：现有基于图像的裂缝检测方法在面对复杂场景和几何结构时，泛化能力和鲁棒性不足。传统2D图像测量方法难以准确评估曲面或复杂3D结构上的裂缝几何属性。因此，需要一种能够适应不同场景，并能进行精确3D裂缝测量的自动化方法。
核心思路：该研究的核心思路是融合计算机视觉和多模态SLAM技术，利用图像和LiDAR数据互补的优势，实现精确的2D裂缝分割、鲁棒的3D重建和自动化的3D裂缝测量。通过SAM的引入，提升了模型在少样本情况下的泛化能力。
技术框架：该框架包含三个主要阶段：1) 基于改进的DeepLabv3+和SAM的2D裂缝分割；2) 基于图像和LiDAR-SLAM的多模态融合3D重建，生成带有裂缝语义的彩色点云；3) 在3D点云空间中直接进行裂缝几何属性的自动测量。
关键创新：该方法最重要的创新点在于：1) 提出了一种基于SAM的少样本裂缝分割方法，提高了模型在不同场景下的泛化能力；2) 提出了一种多模态融合的3D重建框架，结合图像和LiDAR数据，提高了重建的精度和鲁棒性；3) 实现了在3D点云空间中直接进行裂缝几何属性的自动测量，克服了传统2D方法的局限性。
关键设计：在2D裂缝分割阶段，使用了DeepLabv3+作为基础模型，并结合SAM进行微调，以提高少样本学习能力。在3D重建阶段，采用了图像和LiDAR-SLAM融合的方法，利用两种模态数据的互补性。在3D裂缝测量阶段，设计了特定的算法，直接在点云数据上提取裂缝的几何属性，例如宽度、深度等。具体的参数设置和损失函数细节在论文中未明确提及，属于未知信息。
🖼️ 关键图片
📊 实验亮点
该研究通过实验验证了所提出方法的有效性、准确性和鲁棒性。实验结果表明，该方法在不同混凝土结构上均能实现精确的裂缝分割和3D重建，并能自动测量裂缝的几何属性。具体的性能数据和对比基线在摘要中未提及，属于未知信息。但摘要强调了该方法相比传统方法的显著改进和独特优势。
🎯 应用场景
该研究成果可广泛应用于桥梁、隧道、建筑物等混凝土结构的裂缝检测与评估，为结构健康监测提供了一种高效、准确的自动化解决方案。该方法能够减少人工检测的工作量，提高检测效率，并为结构的维护和修复提供可靠的数据支持。未来，该技术有望集成到智能巡检机器人中，实现全自动化的结构健康监测。
📄 摘要（原文）
Visual-Spatial Systems has become increasingly essential in concrete crack inspection. However, existing methods often lacks adaptability to diverse scenarios, exhibits limited robustness in image-based approaches, and struggles with curved or complex geometries. To address these limitations, an innovative framework for two-dimensional (2D) crack detection, three-dimensional (3D) reconstruction, and 3D automatic crack measurement was proposed by integrating computer vision technologies and multi-modal Simultaneous localization and mapping (SLAM) in this study. Firstly, building on a base DeepLabv3+ segmentation model, and incorporating specific refinements utilizing foundation model Segment Anything Model (SAM), we developed a crack segmentation method with strong generalization across unfamiliar scenarios, enabling the generation of precise 2D crack masks. To enhance the accuracy and robustness of 3D reconstruction, Light Detection and Ranging (LiDAR) point clouds were utilized together with image data and segmentation masks. By leveraging both image- and LiDAR-SLAM, we developed a multi-frame and multi-modal fusion framework that produces dense, colorized point clouds, effectively capturing crack semantics at a 3D real-world scale. Furthermore, the crack geometric attributions were measured automatically and directly within 3D dense point cloud space, surpassing the limitations of conventional 2D image-based measurements. This advancement makes the method suitable for structural components with curved and complex 3D geometries. Experimental results across various concrete structures highlight the significant improvements and unique advantages of the proposed method, demonstrating its effectiveness, accuracy, and robustness in real-world applications.