VArsity: Can Large Language Models Keep Power Engineering Students in Phase?

📄 arXiv: 2507.20995v1 📥 PDF

作者: Samuel Talkington, Daniel K. Molzahn

分类: cs.CY, eess.SY

发布日期: 2025-07-28

备注: 9 pages, 4 figures

💡 一句话要点

利用大型语言模型辅助电力工程教学，提升学生问题识别与纠错能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 电力工程教育 ChatGPT 问题识别 错误纠正

📋 核心要点

  1. 电力工程教育面临如何有效利用新兴LLM工具的挑战，需要评估其在教学和评估中的作用。
  2. 本研究通过让学生识别和纠正ChatGPT在电力系统问题中的错误，来评估LLM在电力工程教学中的有效性。
  3. 实验结果表明，不同版本的ChatGPT在问题解决能力上存在差异，学生识别错误的能力也受到LLM版本的影响。

📝 摘要（中文）

本文提供了一个教育案例研究，探讨了在佐治亚理工学院2025年春季和2023年秋季开设的ECE 4320课程（电力系统分析与控制）中部署ChatGPT大型语言模型（LLM）的经验。作为课程评估的一部分，学生需要识别、解释和纠正ChatGPT在功率因数校正问题上的输出错误。虽然大多数学生成功识别了2023年秋季使用的GPT-4版本的ChatGPT的输出错误，但学生们发现2025年春季使用的ChatGPT o1版本的错误更难识别。如本案例研究所示，LLM在电力工程课堂中的教学、评估和学习中的作用是一个值得进一步研究的重要课题。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在电力工程教育中的应用效果，具体来说，是评估学生利用LLM解决电力系统分析问题，并识别和纠正LLM输出错误的能力。现有方法缺乏对LLM在电力工程特定领域应用效果的系统性评估，以及对不同LLM版本之间差异的考量。

核心思路：核心思路是将LLM（ChatGPT）作为辅助教学工具，让学生参与到LLM的输出结果的审核和纠正过程中。通过这种方式，学生不仅可以学习电力系统分析的知识，还可以培养批判性思维和问题解决能力，同时也能评估LLM在特定领域的局限性。

技术框架：该研究采用案例研究的方法，在电力系统分析与控制课程中部署ChatGPT，并将其作为课程评估的一部分。学生需要使用ChatGPT解决功率因数校正问题，然后识别、解释和纠正ChatGPT的输出错误。研究比较了不同版本的ChatGPT（GPT-4和ChatGPT o1）在问题解决能力上的差异，以及学生识别不同版本ChatGPT输出错误的能力。

关键创新：该研究的创新之处在于将LLM应用于电力工程教育的实践中，并设计了一种新的评估方法，即让学生识别和纠正LLM的输出错误。这种方法不仅可以评估LLM在特定领域的应用效果，还可以培养学生的批判性思维和问题解决能力。此外，研究还比较了不同版本的ChatGPT在问题解决能力上的差异，为LLM在电力工程教育中的应用提供了更全面的认识。

关键设计：研究的关键设计包括选择功率因数校正问题作为评估内容，选择GPT-4和ChatGPT o1作为LLM版本进行比较，以及设计学生识别和纠正LLM输出错误的评估方法。没有涉及具体的参数设置、损失函数或网络结构，因为研究重点在于LLM的应用效果评估，而非LLM本身的算法设计。

📊 实验亮点

实验结果表明，学生更容易识别GPT-4版本的ChatGPT的输出错误，而ChatGPT o1版本的错误更难识别。这表明不同版本的LLM在问题解决能力上存在差异，教师在选择LLM作为教学工具时需要考虑其性能和适用性。该研究为LLM在电力工程教育中的应用提供了重要的参考依据。

🎯 应用场景

该研究成果可应用于电力工程及其他工程领域的教育中，帮助教师更好地利用LLM等人工智能工具辅助教学，提高学生的学习效果和问题解决能力。通过评估LLM在特定领域的应用效果，可以为LLM的进一步开发和应用提供指导，促进人工智能技术在教育领域的普及和发展。

📄 摘要（原文）

This paper provides an educational case study regarding our experience in deploying ChatGPT Large Language Models (LLMs) in the Spring 2025 and Fall 2023 offerings of ECE 4320: Power System Analysis and Control at Georgia Tech. As part of course assessments, students were tasked with identifying, explaining, and correcting errors in the ChatGPT outputs corresponding to power factor correction problems. While most students successfully identified the errors in the outputs from the GPT-4 version of ChatGPT used in Fall 2023, students found the errors from the ChatGPT o1 version much more difficult to identify in Spring 2025. As shown in this case study, the role of LLMs in pedagogy, assessment, and learning in power engineering classrooms is an important topic deserving further investigation.