A Large Language Model for Disaster Structural Reconnaissance Summarization

📄 arXiv: 2602.11588v1 📥 PDF

作者: Yuqing Gao, Guanren Zhou, Khalid M. Mosalam

分类: cs.CV

发布日期: 2026-02-12

备注: 8 pages, 4 figures. Presented at the 18th World Conference on Earthquake Engineering (18WCEE 2024)

💡 一句话要点

提出基于LLM的灾后结构快速勘察总结框架，提升灾后重建效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 结构健康监测 灾后勘察 深度学习 计算机视觉

📋 核心要点

  1. 现有基于视觉的结构健康监测系统通常只输出离散结果，工程师需要进一步分析和重组这些结果才能进行评估和决策。
  2. 本文提出LLM-DRS框架，通过整合视觉数据和元数据，利用LLM生成结构或区域的总结报告，辅助工程师进行决策。
  3. 实验结果表明，该框架在灾后快速勘察方面具有潜力，能够有效提高建筑环境的韧性。

📝 摘要（中文）

本文提出了一种基于大型语言模型（LLM）的灾害勘察总结（LLM-DRS）框架，旨在提升基于视觉的结构健康监测（SHM）效率。该框架遵循标准的勘察计划，在现场调查过程中收集视觉数据和元数据。文本元数据和图像视觉数据被整合为统一格式，并利用训练好的深度卷积神经网络提取关键属性，包括损伤状态、材料类型和损伤程度。最后，所有数据被输入到带有精心设计的提示词的LLM中，使LLM-DRS能够基于聚合的属性和元数据生成针对单个结构或受影响区域的总结报告。结果表明，将LLM集成到基于视觉的SHM中，特别是在灾后快速勘察方面，具有通过有效的勘察来提高建筑环境韧性的潜力。

🔬 方法详解

问题定义：现有基于视觉的结构健康监测方法主要痛点在于输出结果过于离散，例如损伤类别标签和损伤区域坐标。工程师需要手动整合这些信息，进行进一步的分析和评估，效率较低，难以满足灾后快速响应的需求。

核心思路：本文的核心思路是利用大型语言模型（LLM）强大的文本生成和总结能力，将视觉数据（图像）和文本元数据整合后输入LLM，通过精心设计的提示词，让LLM自动生成结构或区域的总结报告。这样可以减少人工干预，提高信息处理效率，辅助工程师进行决策。

技术框架：LLM-DRS框架主要包含以下几个阶段： 1. 数据收集：遵循标准勘察计划，收集视觉数据（图像）和相应的文本元数据。 2. 数据预处理与特征提取：将文本元数据和图像数据整合为统一格式。利用预训练的深度卷积神经网络（DCNN）从图像中提取关键属性，例如损伤状态、材料类型和损伤程度。 3. LLM总结报告生成：将提取的属性和元数据输入到LLM中，并使用精心设计的提示词，引导LLM生成结构或区域的总结报告。

关键创新：该方法最重要的创新点在于将大型语言模型（LLM）引入到视觉结构健康监测领域，并利用LLM的文本生成能力自动生成结构或区域的总结报告。与传统方法相比，该方法能够显著提高信息处理效率，减少人工干预。

关键设计： 1. 标准勘察计划：设计标准的勘察流程，确保数据收集的规范性和完整性。 2. 深度卷积神经网络：选择合适的DCNN模型，并进行训练，以准确提取图像中的关键属性。 3. 提示词设计：精心设计提示词，引导LLM生成高质量的总结报告，包括结构描述、损伤情况、潜在风险等信息。

📊 实验亮点

论文验证了将LLM集成到视觉结构健康监测中的潜力，特别是在灾后快速勘察方面。通过LLM-DRS框架，可以自动生成结构或区域的总结报告，减少人工干预，提高信息处理效率。虽然论文中没有给出具体的性能数据，但其概念验证为后续研究奠定了基础，并展示了LLM在结构健康监测领域的应用前景。

🎯 应用场景

该研究成果可应用于灾后快速结构安全评估、桥梁隧道等基础设施的健康监测、建筑物维护管理等领域。通过自动生成结构评估报告，可以帮助工程师快速了解结构状况，制定合理的维护和修复计划，提高基础设施的安全性和使用寿命，并为城市韧性建设提供技术支持。

📄 摘要（原文）

Artificial Intelligence (AI)-aided vision-based Structural Health Monitoring (SHM) has emerged as an effective approach for monitoring and assessing structural condition by analyzing image and video data. By integrating Computer Vision (CV) and Deep Learning (DL), vision-based SHM can automatically identify and localize visual patterns associated with structural damage. However, previous works typically generate only discrete outputs, such as damage class labels and damage region coordinates, requiring engineers to further reorganize and analyze these results for evaluation and decision-making. In late 2022, Large Language Models (LLMs) became popular across multiple fields, providing new insights into AI-aided vision-based SHM. In this study, a novel LLM-based Disaster Reconnaissance Summarization (LLM-DRS) framework is proposed. It introduces a standard reconnaissance plan in which the collection of vision data and corresponding metadata follows a well-designed on-site investigation process. Text-based metadata and image-based vision data are then processed and integrated into a unified format, where well-trained Deep Convolutional Neural Networks extract key attributes, including damage state, material type, and damage level. Finally, all data are fed into an LLM with carefully designed prompts, enabling the LLM-DRS to generate summary reports for individual structures or affected regions based on aggregated attributes and metadata. Results show that integrating LLMs into vision-based SHM, particularly for rapid post-disaster reconnaissance, demonstrates promising potential for improving resilience of the built environment through effective reconnaissance.