Closed-loop evaluation of LLM agents for embedded software development
作者: Jorge García-Carrasco, Sergio García-Carrasco, Alejandro Maté, Juan Trujillo
分类: cs.SE, cs.AI, cs.AR, cs.LG
发布日期: 2026-10-08
备注: Published in Journal of Systems Architecture 179 (2026) 103937. 23 pages, 4 figures, 5 tables. Code and artifacts: https://github.com/jgcarrasco/closed_loop_evaluation_agents_embedded
期刊: J. Syst. Archit. 179 (2026) 103937
DOI: 10.1016/j.sysarc.2026.103937
💡 一句话要点
提出闭环评估基准以提升嵌入式软件开发中的LLM代理性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 嵌入式软件 闭环评估 编码代理 自我验证 性能评估 自动化测试
📋 核心要点
- 现有的嵌入式软件开发评估方法多集中于一次性合成或离线正确性，缺乏闭环行为的全面评估。
- 本文提出了一种新的闭环评估基准，要求代理将需求转化为实现和自我验证步骤，并进行迭代直到达到所需设备行为。
- 实验结果显示，gpt-5.4在通过率上表现最佳，而较小的本地模型在通过率和搜索效率上显著下降，表明有能力的本地嵌入式编码代理正在出现。
📝 摘要（中文）
大型语言模型（LLMs）越来越多地被用作编码代理，能够编辑文件、运行构建和测试、检查执行结果并进行软件修复。然而，嵌入式固件的开发面临更高的挑战，因为其正确性不仅依赖于静态源代码质量，还依赖于在感知、时序和安全约束下的闭环行为。本文提出了一种用于嵌入式编码代理的闭环评估基准，涵盖五个嵌入式控制任务和四种反馈场景。通过对七种GPT和Qwen模型的评估，发现gpt-5.4在通过率上表现最佳，但未达到基准饱和，而qwen3.5-27B则是观察到的最强本地模型。
🔬 方法详解
问题定义：本文旨在解决嵌入式软件开发中现有评估方法的不足，特别是缺乏对闭环行为的评估，导致无法全面验证编码代理的性能。
核心思路：提出了一种闭环评估基准，要求编码代理在给定的任务中进行需求转化、实现和自我验证，并通过迭代过程达到预期的设备行为。
技术框架：整体架构包括任务描述、约束工作空间和可见的构建与运行表面，代理需要在此基础上完成五个嵌入式控制任务和四种反馈场景的评估。
关键创新：最重要的创新在于设计了一个综合性的闭环评估基准，强调了动态反馈和自我验证的重要性，与传统的静态评估方法形成鲜明对比。
关键设计：在实验中，使用了七种不同的GPT和Qwen模型配置，针对每种配置进行了420次运行，评估了其在不同任务和反馈场景下的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，gpt-5.4在所有评估配置中具有最高的通过率，但未达到基准的饱和状态。qwen3.5-27B被观察为最强的本地模型，而较小的本地模型在通过率和搜索效率上显著下降，显示出能力较强的本地嵌入式编码代理正在逐步形成。
🎯 应用场景
该研究的潜在应用领域包括嵌入式系统开发、自动化软件测试和智能设备的自我修复。通过提升编码代理的性能，能够加速嵌入式软件的开发周期，提高软件的可靠性和安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models (LLMs) are increasingly deployed as coding agents that edit files, run builds and tests, inspect execution results, and repair software iteratively. Embedded firmware is a demanding target because correctness depends on closed-loop behavior under sensing, timing, and safety constraints, not only on static source quality. Yet embedded-agent evaluation remains limited and often emphasizes one-shot synthesis or offline correctness. We present a benchmark for closed-loop evaluation of embedded coding agents. Each task provides a plain-text engineering description, constrained workspace, and visible build-and-runtime surface. The agent must translate requirements into implementation and self-verification steps, then iterate until the required device behavior is achieved. The suite contains five embedded-control tasks and four feedback scenarios: one-shot generation, realistic self-verification, CI-style red/green feedback, and oracle-style detailed feedback. The implementation targets simulated ESP32 firmware for reproducibility. We evaluate seven GPT-family and Qwen-family configurations across five tasks and four scenarios, with three repetitions per condition for 420 runs. gpt-5.4 has the highest pass rate among evaluated configurations but does not saturate the benchmark; qwen3.5-27B is the strongest observed local model; and smaller local models degrade sharply in pass rate and search efficiency. These results suggest that capable local embedded coding agents are emerging.