Identification of Stone Deterioration Patterns with Large Multimodal Models
作者: Daniele Corradetti, Jose Delgado Rodrigues
分类: cs.CV, cs.CE
发布日期: 2024-06-05
备注: 10 pages, 5 figures, submitted to Journal of Cultural Heritage
💡 一句话要点
利用大型多模态模型识别石材劣化模式，助力文化遗产保护
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 石材劣化 多模态模型 文化遗产保护 图像识别 深度学习
📋 核心要点
- 石质文化遗产保护面临石材劣化模式识别的挑战，传统方法效率低且依赖专家知识。
- 论文探索利用大型多模态模型自动识别石材劣化模式，减少人工干预并提高识别效率。
- 通过对354张图像的实验，评估了不同多模态模型在石材劣化模式识别中的性能，揭示其优势与不足。
📝 摘要（中文）
石质文化遗产的保护对于维护文化和历史地标至关重要。随着GPT-4omni (OpenAI)、Claude 3 Opus (Anthropic) 和 Gemini 1.5 Pro (Google) 等大型多模态模型的出现，定义这些模型的操作能力变得越来越重要。本文系统地评估了主流基础多模态模型在识别和分类石材构件异常和劣化模式方面的能力，这些能力在世界遗产的保护和修复实践中非常有用。在定义了主要石材劣化模式和异常的分类法之后，我们要求这些基础模型识别一组精心挑选的、具有高度代表性的354张石质遗产图像，并为它们提供了一组经过仔细选择的标签以供选择。结果因模式类型而异，使我们能够识别这些模型在遗产保护和修复领域的优势和劣势。
🔬 方法详解
问题定义：石材劣化模式的识别是文化遗产保护中的关键环节。传统方法依赖人工巡检和专家经验，效率低且成本高昂。现有的图像识别方法难以有效处理石材表面复杂的纹理和多样的劣化模式，缺乏针对性的优化。
核心思路：利用大型多模态模型强大的图像理解和分类能力，直接从石材图像中识别劣化模式。通过提供包含多种劣化模式的图像数据集和预定义的标签集，引导模型学习不同劣化模式的视觉特征，实现自动分类。
技术框架：该研究采用了一种基于图像分类的框架。首先，构建一个包含354张石材图像的数据集，并定义一套石材劣化模式的分类体系。然后，使用GPT-4omni、Claude 3 Opus和Gemini 1.5 Pro等大型多模态模型，直接对图像进行分类，预测其所属的劣化模式。最后，分析模型的分类结果，评估其在不同劣化模式识别中的性能。
关键创新：该研究的关键创新在于将大型多模态模型应用于石材劣化模式识别这一特定领域。与传统的图像处理方法相比，大型多模态模型具有更强的特征提取和泛化能力，能够更好地处理石材表面复杂的纹理和多样的劣化模式。此外，该研究还系统地评估了不同多模态模型在这一任务中的性能，为实际应用提供了参考。
关键设计：该研究的关键设计包括：1) 精心挑选具有代表性的石材图像，涵盖多种常见的劣化模式；2) 定义清晰明确的劣化模式分类体系，为模型提供准确的标签；3) 采用主流的大型多模态模型，如GPT-4omni、Claude 3 Opus和Gemini 1.5 Pro，充分利用其强大的图像理解能力；4) 对模型的分类结果进行详细分析，评估其在不同劣化模式识别中的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，大型多模态模型在石材劣化模式识别方面具有一定的潜力，但不同模型在不同模式上的表现存在差异。例如，某些模型在识别生物侵蚀方面表现较好，而在识别裂缝方面则表现较差。该研究揭示了这些模型的优势和劣势，为后续研究提供了重要的参考。
🎯 应用场景
该研究成果可应用于文化遗产保护、古建筑修复、石材病害诊断等领域。通过自动识别石材劣化模式，可以辅助专家进行评估和决策，提高保护效率，降低维护成本，并为文化遗产的长期保存提供技术支持。未来，结合无人机、机器人等技术，可实现对石质建筑的自动化巡检和劣化评估。
📄 摘要（原文）
The conservation of stone-based cultural heritage sites is a critical concern for preserving cultural and historical landmarks. With the advent of Large Multimodal Models, as GPT-4omni (OpenAI), Claude 3 Opus (Anthropic) and Gemini 1.5 Pro (Google), it is becoming increasingly important to define the operational capabilities of these models. In this work, we systematically evaluate the abilities of the main foundational multimodal models to recognise and classify anomalies and deterioration patterns of the stone elements that are useful in the practice of conservation and restoration of world heritage. After defining a taxonomy of the main stone deterioration patterns and anomalies, we asked the foundational models to identify a curated selection of 354 highly representative images of stone-built heritage, offering them a careful selection of labels to choose from. The result, which varies depending on the type of pattern, allowed us to identify the strengths and weaknesses of these models in the field of heritage conservation and restoration.