PLCWorld: Benchmarking LLM-Generated PLC Programs in Closed-Loop Plant Simulation
作者: Yunji Kim, Yunseok Lee, Hyunwoo Seo, Jaerim Choi, Woojin Lee
分类: cs.AI
发布日期: 2026-10-02
备注: 36 pages, 9 figures. Project website: https://yunji0516.github.io/PLCWorld/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出PLCWorld以评估LLM生成PLC程序的有效性与安全性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 可编程逻辑控制器 大型语言模型 闭环执行环境 工业自动化 任务评估
📋 核心要点
- 现有方法在评估LLM生成的PLC程序时，缺乏有效的闭环执行环境，难以验证其安全性和任务成功率。
- 论文提出PLCWorld，通过结合ST执行与模拟反馈，创建了一个标准化的评估基准，涵盖多种工业任务。
- 实验结果表明，GPT-5.5在简单任务上表现良好，但在复杂任务中成功率显著下降，揭示了LLM生成程序的局限性。
📝 摘要（中文）
可编程逻辑控制器（PLC）通过读取传感器输入和发出控制命令来协调工业设备。评估大型语言模型（LLM）生成的PLC程序是否满足任务要求和安全约束，需要观察其命令对设备和工件状态的影响。我们提出了PLCWorld，一个结合结构化文本（ST）执行与模拟工厂响应和传感器反馈的闭环执行环境和基准。PLCWorld包含100个合成任务和473个注册任务-条件对，涵盖运动控制和物料处理，难度由控制依赖范围定义。通过多种验证方法，确保了任务成功率和安全性违规的独立评估。实验结果显示，直接使用GPT-5.5在简单任务上取得82.70%的成功率，但在困难任务上仅为25.10%。
🔬 方法详解
问题定义：论文要解决的问题是如何有效评估LLM生成的PLC程序在实际工业环境中的表现，尤其是其任务成功率和安全性。现有方法缺乏一个综合的评估框架，无法全面验证生成程序的有效性和安全性。
核心思路：PLCWorld的核心思路是构建一个闭环执行环境，将PLC程序的执行与模拟工厂的反馈结合起来，从而实现对生成程序的全面评估。这种设计能够实时观察命令对设备状态的影响，确保评估的准确性。
技术框架：PLCWorld的整体架构包括任务生成模块、执行模块和反馈模块。任务生成模块负责创建合成任务，执行模块负责运行PLC程序，反馈模块则模拟工厂的响应和传感器反馈。所有模块通过标准化协议进行交互，确保评估的一致性。
关键创新：最重要的技术创新点在于结合了结构化文本执行与闭环模拟反馈，形成了一个新的评估基准。这与现有方法的本质区别在于，现有方法往往缺乏实时反馈机制，无法全面评估生成程序的实际表现。
关键设计：在设计中，PLCWorld定义了100个合成任务和473个任务-条件对，难度由控制依赖范围决定。验证过程中采用了多种方法，包括从业者审查、参考程序对比和独立运行时的比较，确保了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，直接使用GPT-5.5在简单任务上取得82.70%的成功率，而在困难任务上仅为25.10%。这一结果揭示了LLM生成程序在不同复杂度任务中的性能差异，为后续研究提供了重要的参考。
🎯 应用场景
该研究的潜在应用领域包括工业自动化、智能制造和机器人控制等。通过提供一个标准化的评估平台，PLCWorld能够帮助研究人员和工程师更好地理解和优化LLM生成的PLC程序，从而提高工业设备的安全性和效率。未来，该平台可能推动更多基于AI的自动化解决方案的开发与应用。
📄 摘要（原文）
Programmable logic controllers (PLCs) coordinate industrial equipment by reading sensor inputs and issuing control commands. Evaluating whether large language model (LLM)-generated PLC programs satisfy task requirements and safety constraints requires observing how their commands affect device and workpiece states. We introduce PLCWorld, a common closed-loop execution environment and benchmark that couples Structured Text (ST) execution with simulated plant responses and sensor feedback. Grounded in control relations identified in industrial PLC programs and engineering documentation, PLCWorld contains 100 synthetic tasks and 473 registered task-condition pairs across Motion Control and Material Handling, with difficulty defined by control-dependency scope. A common protocol reports Task Success and Safety Violation separately. Validation combines practitioner review, reference and alternative programs, targeted counterexamples, specification-evaluator alignment checks, and comparisons with independent ST runtimes. Reference and alternative programs satisfy their applicable cases, while all 542 targeted counterexamples activate their designated evaluator rules under at least one registered condition. Execution Gap relates submission-profile acceptance to subsequent task failure or observed Safety Violation. Across the constructed task groups, direct GPT-5.5 achieves 82.70% Task Success on Easy cases but 25.10% on Hard cases. Evaluations of six LLMs and four adapted generation-and-verification workflows further expose differences between completion, safety, and generation cost. Our code, simulation environment, benchmark tasks, and baseline implementations are publicly available at https://yunji0516.github.io/PLCWorld/.