Automated Real-World Sustainability Data Generation from Images of Buildings

📄 arXiv: 2405.18064v2 📥 PDF

作者: Peter J Bentley, Soo Ling Lim, Rajat Mathur, Sid Narang

分类: cs.AI, cs.CV

发布日期: 2024-05-28 (更新: 2024-08-28)

备注: 6 pages

期刊: The 4th International Conference on Electrical, Computer, Communications and Mechatronics Engineering (ICECCME) 2014

💡 一句话要点

提出一种基于图像的建筑可持续性数据自动生成方法，优于人工标注。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 建筑可持续性 图像分析 大型语言模型 提示工程 数据生成

📋 核心要点

  1. 现有方法在缺乏建筑物特征数据时，难以评估和改进建筑物的碳排放，阻碍了可持续性改进。
  2. 本文提出一种基于图像的建筑特征数据自动生成方法，利用大型语言模型和提示工程，从图像中提取可持续性相关特征。
  3. 实验结果表明，该方法在预测建筑特征方面的准确性优于人工标注，并能生成个性化的改进建议。

📝 摘要（中文）

当缺乏建筑物特征数据时，评估和改进建筑物的碳排放变得不可行。本文提出一种新颖的图像到数据的方法，利用大型语言模型，通过适当的提示工程和领域知识，仅从图像中成功估计一系列与可持续性计算相关的建筑物特征。通过与包含47套公寓的真实建筑数据的ground truth进行比较，该方法的准确性优于人工标注。此外，本文还展示了该方法可以为业主生成量身定制的改进建议，并讨论了扩展该方法的方法。

🔬 方法详解

问题定义：论文旨在解决缺乏建筑物特征数据时，难以进行可持续性评估和改进的问题。现有方法依赖于人工测量或昂贵的传感器部署，成本高昂且难以规模化。因此，需要一种能够从易于获取的图像数据中自动提取建筑特征的方法。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大推理和知识整合能力，结合图像信息，预测建筑物的可持续性相关特征。通过精心设计的提示工程，引导LLM从图像中提取关键信息，并将其转化为结构化的数据。

技术框架：该方法主要包含以下几个阶段：1) 图像输入：输入建筑物的图像数据。2) 提示工程：设计合适的提示语，引导LLM提取与可持续性相关的建筑特征。3) LLM推理：利用LLM对图像和提示语进行处理，生成建筑特征的估计值。4) 数据输出：将LLM的输出转化为结构化的数据格式，用于后续的可持续性评估和改进建议生成。

关键创新：该方法最重要的创新点在于将大型语言模型应用于建筑特征的自动提取，并证明了其在准确性方面优于人工标注。通过提示工程，有效地利用了LLM的领域知识和推理能力，实现了从图像到数据的自动转换。

关键设计：关键设计包括提示语的设计，需要包含明确的指令和上下文信息，引导LLM提取正确的特征。此外，还需要对LLM的输出进行后处理，例如数据清洗和格式转换，以确保数据的质量和可用性。具体的LLM选择和参数设置在论文中可能未详细说明，属于未知信息。

📊 实验亮点

实验结果表明，该方法在预测47套公寓的建筑特征方面，准确性优于人工标注。具体的性能数据（例如，准确率、召回率等）和提升幅度在摘要中未明确给出，属于未知信息。但结论表明，该方法在实际应用中具有很高的潜力。

🎯 应用场景

该研究成果可应用于城市规划、建筑设计、能源审计等领域。通过自动生成建筑物的可持续性数据，可以帮助政府、企业和个人更好地了解建筑物的能源消耗情况，制定更有效的节能减排措施，并促进可持续建筑的发展。该方法还可用于大规模建筑普查和快速评估，为城市可持续发展提供数据支持。

📄 摘要（原文）

When data on building features is unavailable, the task of determining how to improve that building in terms of carbon emissions becomes infeasible. We show that from only a set of images, a Large Language Model with appropriate prompt engineering and domain knowledge can successfully estimate a range of building features relevant for sustainability calculations. We compare our novel image-to-data method with a ground truth comprising real building data for 47 apartments and achieve accuracy better than a human performing the same task. We also demonstrate that the method can generate tailored recommendations to the owner on how best to improve their properties and discuss methods to scale the approach.