Multimodal Cultural Heritage Architectural Style Classification for Residential Buildings in the UAE Based on CLIP Embeddings and SVM

📄 arXiv: 2609.17181v1 📥 PDF

作者: Ahmed Ammar Kubba, Manar Abu Talib, Iman Ibrahim, Qassim Nasir

分类: cs.CV, cs.AI

发布日期: 2026-09-15

备注: 8 pages, 8 figures, 3 tables, published at 15th International Conference on Intelligent Systems: Theories and Applications

期刊: 2025 International Conference on Intelligent Systems: Theories and Applications (SITA), Rabat, Morocco, 2025, pp. 1-8

DOI: 10.1109/SITA67914.2025.11273491

💡 一句话要点

提出多模态框架以解决阿联酋住宅建筑风格分类问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 建筑风格分类 文化遗产 CLIP模型 SVM分类器 无监督聚类 阿联酋建筑 特征融合

📋 核心要点

  1. 现有的CNN基础分类方法在处理建筑视觉图像时面临复杂性挑战，且缺乏针对非西方地区的特定数据集。
  2. 本文提出了一种多模态机器学习框架，结合视觉和文本特征，利用CLIP模型进行阿联酋住宅建筑的分析与分类。
  3. 该方法在八个风格聚类中实现了98%的分类准确率，显著高于现有研究，展示了多模态AI在建筑遗产分析中的潜力。

📝 摘要（中文）

文化遗产建筑风格的分析与分类面临诸多挑战，尤其是在视觉图像复杂性和缺乏非西方地区特定数据集的情况下。本文提出了一种多模态机器学习框架，利用OpenAI的CLIP模型分析和分类阿联酋住宅建筑。通过将图像的视觉特征与专家描述的文本特征整合为统一的512维嵌入，并使用UMAP进行降维和K-Means进行无监督聚类，最终训练SVM分类器实现自动化建筑风格分类。该方法在八个风格聚类中实现了98%的分类准确率，超越了现有文献中的所有研究，展示了视觉与文本模态结合的有效性。

🔬 方法详解

问题定义：本文旨在解决文化遗产建筑风格分类中的视觉图像复杂性和缺乏特定数据集的问题。现有方法主要依赖于CNN，难以有效处理非西方地区的建筑风格。

核心思路：论文提出的核心思路是结合视觉特征和文本特征，通过多模态学习框架来提高分类准确性。利用CLIP模型将图像和文本信息整合为统一的嵌入表示。

技术框架：整体架构包括三个主要模块：首先，使用CLIP模型提取图像和文本特征；其次，应用UMAP进行降维以便于可视化；最后，使用K-Means进行无监督聚类，并基于聚类结果训练SVM分类器。

关键创新：该研究的创新点在于将视觉和文本模态结合，通过多模态学习显著提高了分类性能，尤其是在缺乏丰富数据集的情况下。与传统方法相比，本文的方法在准确性和可解释性上具有明显优势。

关键设计：在技术细节上，使用了512维的嵌入表示，UMAP用于降维，K-Means用于聚类，最终通过手动分析聚类标签来训练SVM分类器。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，本文提出的方法在八个建筑风格聚类中达到了98%的分类准确率，显著高于现有文献中的其他研究，证明了视觉与文本模态结合的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括文化遗产保护、建筑风格分析和城市规划等。通过提供可扩展和可解释的工具，研究能够帮助相关领域的专家更好地理解和探索地区建筑身份，促进文化遗产的保护与传承。

📄 摘要（原文）

The analysis and classification of cultural heritage architectural styles remain challenging due to the complexity of visual images of buildings, which are highly relied on in traditional CNN-based classification approaches in comparison to textual descriptions, and the relative lack of non-western region-specific datasets. This paper addresses this gap by proposing a multimodal machine learning framework to analyze and classify Emirati residential architecture using OpenAI's CLIP model. We integrate visual features from images and textual features from expert descriptions into a unified 512-dimensional embedding, followed by dimensionality reduction with UMAP for visualization and unsupervised clustering using K-Means. Cluster labels, which are derived from manual analysis of the K-Means clusters, are used to train an SVM classifier for automated architectural style classification. Our approach achieves a classification accuracy of 98% across eight identified style clusters, higher than every other study in the literature, demonstrating the effectiveness of combining visual and textual modalities. Overall, this paper highlights the potential of using multimodal AI to support architectural heritage analysis, offering scalable and interpretable tools for exploring regional architectural identities.