Generative Artificial Intelligence (GenAI) to convert images of queuing networks into verifiable simulation models: an open-weight LLM workflow approach
作者: Thomas Monks, Alison Harper, Amy Heather, Navonil Mustafee
分类: cs.AI
发布日期: 2026-07-27
💡 一句话要点
提出Sketch2DES以解决模拟模型构建的可验证性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 离散事件模拟 可验证性 排队网络 自动化建模 多模态学习 软件适配器
📋 核心要点
- 现有方法在自动生成模拟模型时，缺乏有效的验证和可重复性，尤其对非编程用户造成挑战。
- 论文提出的Sketch2DES工作流程通过三个阶段将图示转换为可验证的模拟模型，提升了用户体验。
- 实验结果表明，该方法在可靠性上表现优异，且与人工编码结果无显著差异，提升了模型构建的透明性。
📝 摘要（中文）
近期的研究探讨了利用大型语言模型（LLMs）自动化构建模拟模型，通常是通过直接从自然语言描述生成可执行代码。然而，这对缺乏编程经验的用户在验证和可重复性方面带来了挑战。我们提出了Sketch2DES，这是一个将排队网络的图示表示转换为可验证的离散事件模拟模型的工作流程，使用开放权重的LLMs。该工作流程分为三个阶段：第一阶段，使用多模态LLM将图示翻译为半结构化文本描述；第二阶段，通过具有反思验证循环的LLM将其转换为模式验证的结构化数据（JSON）；第三阶段，使用软件适配器将其确定性转换为可执行的模拟模型。因此，中间产物可以在执行前进行检查和自动验证。我们在八个不同复杂度的排队网络图上评估了该方法，结果显示在所有阶段的可靠性高，且结果与人工编码和分析基准统计上无显著差异。与直接代码生成相比，该工作流程提高了可重复性、透明性和可验证性，同时减少了对编程专业知识的需求。
🔬 方法详解
问题定义：本论文旨在解决现有模拟模型构建方法在验证和可重复性方面的不足，尤其是针对缺乏编程经验的用户。现有方法通常直接生成代码，难以确保模型的准确性和可验证性。
核心思路：论文提出的Sketch2DES工作流程通过将图示化的排队网络转换为结构化数据，进而生成可执行的模拟模型，确保每个阶段的输出都可以进行验证。这样的设计使得用户能够在没有编程知识的情况下，依然能够构建可靠的模拟模型。
技术框架：该工作流程分为三个主要阶段：第一阶段，利用多模态LLM将图示翻译为半结构化文本描述；第二阶段，通过具有反思验证循环的LLM将文本描述转换为模式验证的结构化数据（JSON）；第三阶段，使用软件适配器将结构化数据转换为可执行的模拟模型。
关键创新：最重要的技术创新在于引入了反思验证循环，使得每个中间产物都可以在执行前进行自动验证，从而提高了模型构建的可验证性和透明性。与现有方法相比，Sketch2DES在用户友好性和模型可靠性上具有显著优势。
关键设计：在设计过程中，采用了多模态LLM进行图示翻译，确保了信息的准确传递；在第二阶段，使用了模式验证机制来确保生成的结构化数据符合预期格式；最后，软件适配器的设计确保了从结构化数据到可执行模型的无缝转换。整体设计注重了每个阶段的可验证性和用户体验。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Sketch2DES在所有阶段的可靠性均高，且与人工编码和分析基准的结果在统计上无显著差异。该工作流程在可重复性、透明性和可验证性方面的提升，显著优于传统的直接代码生成方法。
🎯 应用场景
该研究的潜在应用领域包括排队系统的模拟、交通流量分析、生产调度等。通过提供一种无需编程知识的模型构建方式，Sketch2DES能够帮助更多领域的研究者和工程师快速构建和验证复杂的模拟模型，提升工作效率和准确性。
📄 摘要（原文）
Recent work has explored the use of Large Language Models (LLMs) to automate simulation model building, typically by generating executable code directly from natural language descriptions. However, this raises challenges for verification and reproducibility particularly for users without programming expertise. We propose Sketch2DES, a sketch-to-simulation workflow that converts diagrammatic representations of queuing networks into verifiable discrete-event simulation models using open-weight LLMs. The workflow has three stages: (1) translation of a diagram into a semi-structured textual description using a multimodal LLM; (2) conversion into schema-validated structured data (JSON) via an LLM with a reflection-based verification loop; and (3) deterministic transformation into an executable simulation model using a software adapter. Intermediate artefacts can therefore be inspected and automatically validated before execution. We evaluate the approach on eight queuing-network diagrams of varying complexity. The workflow achieved high reliability for all stages, and results were statistically indistinguishable from human-coded and analytical benchmarks. Compared to direct code generation, the workflow improves reproducibility, transparency, and verifiability, while reducing the need for programming expertise. Limitations include restricted model scope and dependence on accurate visual interpretation. The results demonstrate the feasibility of structured, workflow-based model generation as a robust foundation for LLM-assisted simulation modelling.