Enabling Large Language Models to Perform Power System Simulations with Previously Unseen Tools: A Case of Daline

📄 arXiv: 2406.17215v3 📥 PDF

作者: Mengshuo Jia, Zeyu Cui, Gabriela Hug

分类: eess.SY, cs.AI

发布日期: 2024-06-25 (更新: 2024-11-19)

💡 一句话要点

提出模块化框架，提升大语言模型在电力系统仿真工具中的应用能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 电力系统仿真 模块化框架 代码生成 Daline工具箱

📋 核心要点

  1. 电力系统仿真对研究至关重要，但大语言模型因缺乏相关知识和电网复杂性，难以胜任。
  2. 论文提出模块化框架，融合电力系统和LLM专业知识，提升LLM在未知工具上的仿真能力。
  3. 实验表明，该框架将GPT-4o在Daline工具箱上的仿真代码准确率从0%提升至96.07%。

📝 摘要（中文）

本研究探索了将实验技术与大语言模型（LLM）集成，以变革科学研究，使AI不仅能解决特定问题，还能成为科研人员的助手。在电力系统中，仿真至关重要。然而，由于预先存在的知识有限以及电网的复杂性，LLM在电力系统仿真中面临重大挑战。为了解决这个问题，本研究提出了一个模块化框架，该框架集成了电力系统和LLM领域的专业知识，增强了LLM在先前未见过的工具上执行电力系统仿真的能力。该框架使用Daline（一个LLM尚未接触过的（最优）潮流仿真和线性化工具箱）中的34个仿真任务进行了验证，将GPT-4o的仿真代码准确率从0%提高到96.07%，也优于ChatGPT-4o网页界面33.8%的准确率（上传了整个知识库）。这些结果突出了LLM作为电力系统研究助手的潜力。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）在电力系统仿真中应用受限的问题。现有方法主要痛点在于LLM缺乏电力系统领域的专业知识，难以理解和使用特定的电力系统仿真工具，导致仿真代码生成准确率低，甚至无法完成任务。

核心思路：论文的核心思路是构建一个模块化的框架，将电力系统领域的专业知识显式地注入到LLM中，使其能够更好地理解仿真任务的需求，并生成正确的代码。通过解耦问题，分别解决电力系统知识理解和代码生成，降低了LLM直接进行复杂仿真的难度。

技术框架：该框架包含多个模块，具体架构细节未知，但可以推测包含以下关键阶段：1) 任务理解模块：负责解析用户输入的仿真任务描述，提取关键参数和约束条件。2) 知识库查询模块：根据任务需求，从电力系统知识库中检索相关信息，例如元件模型、控制策略等。3) 代码生成模块：利用LLM的代码生成能力，将任务需求和知识库信息转化为可执行的仿真代码。4) 验证与反馈模块：对生成的代码进行验证，并根据验证结果对LLM进行反馈，以提高代码生成质量。

关键创新：该框架的关键创新在于将电力系统领域的专业知识与LLM的代码生成能力相结合，打破了LLM在特定领域应用的知识壁垒。通过模块化的设计，使得框架具有良好的可扩展性和可维护性，可以方便地集成新的电力系统仿真工具。

关键设计：论文中未详细描述关键参数设置、损失函数、网络结构等技术细节。但可以推测，知识库的构建、任务理解模块的解析精度、代码生成模块的prompt设计，以及验证与反馈模块的有效性，都会对最终的仿真效果产生重要影响。具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该框架显著提升了LLM在Daline工具箱上的仿真能力。GPT-4o的仿真代码准确率从0%提高到96.07%，远超ChatGPT-4o网页界面（上传完整知识库）的33.8%准确率。这一结果验证了该框架的有效性，并表明LLM在电力系统仿真领域具有巨大的应用潜力。

🎯 应用场景

该研究成果可应用于电力系统规划、运行和控制等领域。通过将LLM作为研究助手，可以加速电力系统仿真的过程，提高仿真效率，并为电力系统工程师提供更智能化的决策支持。未来，该技术有望应用于更复杂的电力系统仿真场景，例如大规模电网的动态仿真和优化。

📄 摘要（原文）

The integration of experiment technologies with large language models (LLMs) is transforming scientific research, offering AI capabilities beyond specialized problem-solving to becoming research assistants for human scientists. In power systems, simulations are essential for research. However, LLMs face significant challenges in power system simulations due to limited pre-existing knowledge and the complexity of power grids. To address this issue, this work proposes a modular framework that integrates expertise from both the power system and LLM domains. This framework enhances LLMs' ability to perform power system simulations on previously unseen tools. Validated using 34 simulation tasks in Daline, a (optimal) power flow simulation and linearization toolbox not yet exposed to LLMs, the proposed framework improved GPT-4o's simulation coding accuracy from 0% to 96.07%, also outperforming the ChatGPT-4o web interface's 33.8% accuracy (with the entire knowledge base uploaded). These results highlight the potential of LLMs as research assistants in power systems.