Leveraging Large Language Models for Automated Causal Loop Diagram Generation: Enhancing System Dynamics Modeling through Curated Prompting Techniques

📄 arXiv: 2503.21798v1 📥 PDF

作者: Ning-Yuan Georgia Liu, David R. Keith

分类: cs.LG, cs.CL

发布日期: 2025-03-23

💡 一句话要点

利用大型语言模型自动生成因果循环图，通过优化提示技术增强系统动力学建模。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 因果循环图 系统动力学建模 提示工程 自动化建模

📋 核心要点

  1. 系统动力学建模中，将动态假设转化为因果循环图（CLD）是关键步骤，但人工提取变量和关系耗时费力。
  2. 该论文提出利用大型语言模型（LLM）和优化的提示技术，自动将动态假设转化为CLD，加速建模过程。
  3. 实验结果表明，对于简单模型，LLM生成的CLD质量与专家构建的CLD相似，验证了该方法的可行性。

📝 摘要（中文）

将动态假设转化为因果循环图（CLD）对于系统动力学建模至关重要。然而，从文本中提取关键变量和因果关系以构建CLD对于新手建模者来说通常具有挑战性且耗时，从而限制了系统动力学工具的采用。本文介绍并测试了一种方法，该方法利用大型语言模型（LLM）和优化的提示技术，自动将动态假设转化为CLD。我们首先描述了LLM的工作原理，以及它们如何使用标准有向图结构进行构建CLD所需的推理。接下来，我们从主要的系统动力学教科书中开发了一组简单的动态假设和相应的CLD。然后，我们比较了四种不同的提示技术组合，并根据专家建模者标记的CLD评估它们的性能。结果表明，对于简单的模型结构和使用优化的提示技术，LLM可以生成与专家构建的CLD质量相似的CLD，从而加速CLD的创建。

🔬 方法详解

问题定义：系统动力学建模中，从文本描述的动态假设中提取关键变量和因果关系，并构建因果循环图（CLD）是一个耗时且容易出错的过程，特别是对于新手建模者。现有的手动构建方法效率低下，阻碍了系统动力学工具的广泛应用。

核心思路：利用大型语言模型（LLM）强大的自然语言理解和推理能力，将动态假设的文本描述作为输入，通过精心设计的提示（Prompting）技术，引导LLM自动识别关键变量和它们之间的因果关系，从而生成CLD。核心在于如何设计有效的提示，使LLM能够准确理解动态假设并提取所需信息。

技术框架：该方法主要包含以下几个阶段：1) 准备动态假设文本；2) 设计和选择合适的提示技术；3) 将动态假设文本和提示输入LLM；4) LLM生成CLD；5) 评估生成的CLD的质量。其中，提示技术是核心，不同的提示方式会显著影响LLM的输出质量。

关键创新：该论文的关键创新在于将大型语言模型应用于自动生成因果循环图，并探索了不同的提示技术对生成结果的影响。与传统的手动构建方法相比，该方法能够显著提高CLD的生成效率。此外，通过对比不同的提示技术，为如何有效利用LLM进行系统动力学建模提供了指导。

关键设计：论文比较了四种不同的提示技术组合，具体的技术细节未知。但可以推测，这些提示可能包括：1) 指示LLM识别关键变量；2) 指示LLM识别变量之间的因果关系；3) 提供CLD的结构信息；4) 提供示例CLD供LLM参考。论文使用系统动力学教科书中的动态假设和专家构建的CLD作为评估基准。

📊 实验亮点

实验结果表明，对于简单的模型结构，使用优化的提示技术，LLM可以生成与专家构建的CLD质量相似的CLD。这表明LLM在自动生成CLD方面具有潜力，可以显著加速CLD的创建过程。具体的性能数据和提升幅度未知。

🎯 应用场景

该研究成果可应用于系统动力学建模领域，帮助新手建模者快速构建CLD，降低建模门槛，提高建模效率。此外，该方法还可以应用于其他需要从文本中提取关系并进行可视化的领域，例如知识图谱构建、政策分析等。未来，该方法有望与系统动力学建模工具集成，实现更智能化的建模流程。

📄 摘要（原文）

Transforming a dynamic hypothesis into a causal loop diagram (CLD) is crucial for System Dynamics Modelling. Extracting key variables and causal relationships from text to build a CLD is often challenging and time-consuming for novice modelers, limiting SD tool adoption. This paper introduces and tests a method for automating the translation of dynamic hypotheses into CLDs using large language models (LLMs) with curated prompting techniques. We first describe how LLMs work and how they can make the inferences needed to build CLDs using a standard digraph structure. Next, we develop a set of simple dynamic hypotheses and corresponding CLDs from leading SD textbooks. We then compare the four different combinations of prompting techniques, evaluating their performance against CLDs labeled by expert modelers. Results show that for simple model structures and using curated prompting techniques, LLMs can generate CLDs of a similar quality to expert-built ones, accelerating CLD creation.