AI vs Human Expert Reasoning: Assessing Agreements in Building Typology Predictions based on Street View Imagery

📄 arXiv: 2607.14756v1 📥 PDF

作者: Zahratu Shabrina, Muhammad Asa, Jin Rui, Lu Yin, Stephen Law

分类: cs.AI

发布日期: 2026-07-16

💡 一句话要点

利用视觉语言模型推断建筑类型以辅助城市分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 建筑类型推断 城市分析 人工智能 模式识别 自动化

📋 核心要点

  1. 现有方法在建筑类型推断中依赖人工标注，效率低且难以扩展。
  2. 本研究提出利用视觉语言模型（VLMs）进行建筑类型推断，结合不同的提示技术以提高模型性能。
  3. 实验结果显示，VLM在建筑类型分类任务中的平均准确率达到约70%，接近人类专家水平。

📝 摘要（中文）

本研究探讨了视觉语言模型（VLMs）在推断建筑类型（如建筑结构、当前用途和楼层数）方面的潜力，基于Google街景图像进行分析。研究将VLMs生成的预测与人类专家（如土木工程师和建筑师）的推断进行比较，后者提供了手动标注的真实数据。我们评估了多种先进的VLMs，包括GPT-4o、Claude 3.5 Sonnet和Gemini 2.0 Flash。通过不同的缩放策略和提示技术，发现链式思维提示能够提供更稳定的模型性能。此外，我们还分析了VLMs建筑类型预测背后的推理，揭示了AI与专家标签之间一致性和不一致性的关键主题。研究表明，VLM在建筑类型分类方面的平均准确率约为70%，显示出其在城市分析中的自动化潜力。

🔬 方法详解

问题定义：本研究旨在解决建筑类型推断的效率和准确性问题，现有方法依赖人工标注，难以满足大规模应用的需求。

核心思路：通过利用视觉语言模型（VLMs）对Google街景图像进行分析，结合链式思维提示技术，提升模型在建筑类型推断中的表现。

技术框架：整体架构包括数据收集（Google街景图像）、模型选择（多种VLMs）、提示设计（链式思维提示）和结果评估（与人类专家的比较）。

关键创新：本研究的创新在于将视觉语言模型应用于建筑类型推断，并通过分析AI推理过程中的关键词概率，揭示AI与人类专家推断之间的差异。

关键设计：在模型训练中，采用不同的提示策略和缩放方法，链式思维提示被证明能有效提高模型的稳定性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，VLM在建筑类型分类任务中的平均准确率约为70%，显示出其在大规模城市分析中的应用潜力。与人类专家的推断相比，AI在视觉指标上表现出色，但在上下文理解方面仍有待提高。

🎯 应用场景

该研究的潜在应用领域包括城市规划、建筑管理和智能城市分析等。通过自动化建筑类型推断，能够提高城市数据分析的效率，辅助决策制定，推动智能城市的发展。

📄 摘要（原文）

This research investigates the potential of Vision-Language Models (VLMs) to infer building typologies: Construction, Current Use, and Storeys from Google Street View (GSV) images. Predictions generated by VLMs are compared with inference by human experts (civil engineers and architects) as a source of manually labelled ground-truth data. We evaluate several state-of-the-art VLMs, including GPT-4o, Claude 3.5 Sonnet, and Gemini 2.0 Flash. By applying different scaling strategies and prompting techniques, we found that Chain-of-Thought prompts provide an overall more stable model performance. We also investigate the reasoning behind VLMs' building-typology predictions by examining the probabilities of keywords appearing in AI explanations. This enabled us to analyse patterns in these reasonings and identify key themes driving both agreements and disagreements between VLM and expert labels. We find that AI tends to focus on visual indicators, whereas human experts place greater emphasis on broader contextual cues and domain knowledge, in addition to visual cues. Overall, VLM can approximate experts' capability in building-typology classification at scale, with an average accuracy of approximately 70%. The study demonstrates the VLM's potential for AI automation in tasks that require pattern recognition and object identification in an urban context. AI have the potential to serve as complementary and collaborative tools for urban analysis, leveraging their strengths in understanding visual patterns. This study contributes to the exploration of the efficiency and scalability of AI visual prediction and provides insights into the reasoning processes that could support automation processes in urban analysis and prediction.