Human-AI Collaboration in Large Language Model-Integrated Building Energy Management Systems: The Role of User Domain Knowledge and AI Literacy

📄 arXiv: 2602.16140v1 📥 PDF

作者: Wooyoung Jung, Kahyun Jeon, Prosper Babon-Ayeng

分类: cs.HC, cs.AI

发布日期: 2026-02-18

备注: 39 pages, 11 figures

💡 一句话要点

研究用户领域知识和AI素养对LLM集成建筑能源管理系统人机协作的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机协作 大型语言模型 建筑能源管理系统 用户领域知识 AI素养 GPT-4o 能源效率

📋 核心要点

  1. 现有研究缺乏对用户如何与LLM集成的建筑能源管理系统进行交互的深入分析。
  2. 通过角色扮演实验，研究用户领域知识和AI素养对人机协作效率的影响。
  3. 实验结果表明，AI素养而非领域知识在电器识别率方面起主导作用，LLM具有均衡专业知识差异的潜力。

📝 摘要（中文）

本研究旨在理解用户领域知识和人工智能(AI)素养如何影响人机交互式建筑能源管理系统(BEMS)的有效使用。虽然之前的研究已经调查了将大型语言模型(LLM)集成到BEMS或建筑能源建模中的潜力，但很少有研究考察用户如何与此类系统交互。我们进行了一项系统的角色扮演实验，其中85名人类受试者与先进的生成式预训练Transformer模型(OpenAI GPT-4o)交互。参与者的任务是利用GPT模型（作为LLM集成的BEMS）识别出能够减少家庭能源使用的前五个行为改变。然后，使用分析框架对收集到的提示-响应数据和参与者的结论进行分析，该框架分层评估和评分人机交互及其家庭能源分析方法。此外，根据参与者自我评估的建筑能源使用领域知识和AI素养，将他们分为四组，并对20个可量化指标进行了Kruskal-Wallis H检验和事后成对比较。主要结论包括：大多数参与者使用简洁的提示（中位数：16.2个单词）并严重依赖GPT的分析能力；值得注意的是，20个指标中只有电器识别率显示出统计学上显著的组间差异（p=0.037），这主要是由AI素养而非领域知识驱动的，表明LLM在不同专业水平之间具有均衡效应。本研究为LLM集成BEMS背景下的人机协作动态提供了基础性见解，并为以人为本的LLM集成能源系统的实现贡献了力量。

🔬 方法详解

问题定义：论文旨在解决如何有效地将大型语言模型（LLM）集成到建筑能源管理系统（BEMS）中，并理解用户与此类系统的交互方式。现有方法的痛点在于缺乏对用户领域知识和AI素养在人机协作中的作用的深入研究，以及如何利用LLM来弥合不同专业水平用户之间的差距。

核心思路：论文的核心思路是通过实验研究用户与LLM集成BEMS的交互过程，分析用户领域知识和AI素养对系统使用效果的影响。通过量化人机交互过程中的各项指标，并进行统计分析，揭示LLM在不同专业水平用户之间的均衡效应。

技术框架：整体框架包括以下几个阶段：1) 招募参与者并进行领域知识和AI素养的自我评估；2) 让参与者与GPT-4o（作为LLM集成的BEMS）进行交互，完成识别减少家庭能源使用的行为改变的任务；3) 收集prompt-response数据和参与者的结论；4) 使用分析框架对数据进行分层评估和评分；5) 根据领域知识和AI素养将参与者分组，并进行统计分析。

关键创新：最重要的技术创新点在于对人机交互过程进行量化分析，并揭示了AI素养在LLM集成BEMS中的重要作用。与现有方法相比，该研究更注重用户体验和人机协作的动态过程，而非仅仅关注LLM的技术性能。

关键设计：实验中，参与者被要求使用GPT-4o识别减少家庭能源使用的行为改变。收集到的prompt-response数据被用于评估人机交互的质量和效率。Kruskal-Wallis H检验用于比较不同用户组之间的差异。电器识别率被作为一个关键指标来评估LLM的有效性。

📊 实验亮点

实验结果表明，在20个可量化指标中，只有电器识别率显示出统计学上显著的组间差异（p=0.037），且该差异主要由AI素养而非领域知识驱动。这表明LLM在不同专业水平的用户之间具有均衡效应，即使领域知识不足的用户也能通过LLM获得较好的结果。

🎯 应用场景

该研究成果可应用于开发更智能、更人性化的建筑能源管理系统，提升能源利用效率，降低能源消耗。通过优化人机交互界面和提供个性化建议，LLM集成BEMS可以帮助用户更好地理解和管理家庭能源使用，实现可持续发展。

📄 摘要（原文）

This study aimed to comprehend how user domain knowledge and artificial intelligence (AI) literacy impact the effective use of human-AI interactive building energy management system (BEMS). While prior studies have investigated the potential of integrating large language models (LLMs) into BEMS or building energy modeling, very few studies have examined how user interact with such systems. We conducted a systematic role-playing experiment, where 85 human subjects interacted with an advanced generative pre-trained transformer (OpenAI GPT-4o). Participants were tasked with identifying the top five behavioral changes that could reduce home energy use with the GPT model that functioned as an LLM-integrated BEMS. Then, the collected prompt-response data and participant conclusions were analyzed using an analytical framework that hierarchically assessed and scored human-AI interactions and their home energy analysis approaches. Also, participants were classified into four groups based on their self-evaluated domain knowledge of building energy use and AI literacy, and Kruskal-Wallis H tests with post-hoc pairwise comparisons were conducted across 20 quantifiable metrics. Key takeaways include: most participants employed concise prompts (median: 16.2 words) and relied heavily on GPT's analytical capabilities; and notably, only 1 of 20 metrics, appliance identification rate, showed statistically significant group differences (p=0.037), driven by AI literacy rather than domain knowledge, suggesting an equalizing effect of LLMs across expertise levels. This study provides foundational insights into human-AI collaboration dynamics and promising development directions in the context of LLM-integrated BEMS and contributes to realizing human-centric LLM-integrated energy systems.