EmbedAgent: Benchmarking Large Language Models in Embedded System Development

📄 arXiv: 2506.11003v1 📥 PDF

作者: Ruiyang Xu, Jialun Cao, Mingyuan Wu, Wenliang Zhong, Yaojie Lu, Ben He, Xianpei Han, Shing-Chi Cheung, Le Sun

分类: cs.SE, cs.AI

发布日期: 2025-04-19

备注: 21 pages

💡 一句话要点

EmbedAgent：评估大语言模型在嵌入式系统开发中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 嵌入式系统 基准测试 代码生成 跨平台迁移 检索增强生成 编译器反馈 自动化开发

📋 核心要点

  1. 现有方法缺乏对大语言模型在嵌入式系统开发领域能力的全面评估，无法有效衡量其在数字和物理系统交互任务中的表现。
  2. EmbedAgent范例模拟嵌入式系统开发中的真实角色，并结合Embedbench基准测试，系统性地评估LLMs在编程、电路设计和跨平台迁移等任务中的能力。
  3. 实验结果表明，现有LLMs在嵌入式系统开发任务中表现参差不齐，通过检索增强生成和编译器反馈等策略，可以有效提升LLMs在该领域的性能。

📝 摘要（中文）

大语言模型（LLMs）在各种任务中展现出潜力，但评估其在嵌入式系统开发中能力的基准测试仍然不足。本文提出了EmbedAgent，一种模拟嵌入式系统开发中真实角色的范例，例如嵌入式系统程序员、架构师和集成者。该范例使得LLMs能够在弥合数字和物理系统之间差距的任务中进行测试，从而更全面地评估其能力。为了评估LLMs在这些任务上的表现，我们提出了Embedbench，这是第一个全面的嵌入式系统编程、电路设计和跨平台迁移基准测试。Embedbench包含126个案例，涵盖3个硬件平台上的9个电子元件。通过对10个主流LLMs的广泛实验，我们发现了一些关键结果。令人惊讶的是，即使案例很简单，DeepSeek-R1在提供原理图信息时也仅达到55.6%的pass@1率，而自行生成原理图时则为50.0%。在跨平台迁移任务中，LLMs在Raspberry Pi Pico上的MicroPython表现相对较好（最佳模型达到73.8%的pass@1），但在ESP-IDF上的表现较差，最佳模型仅达到29.4%的pass@1。有趣的是，我们观察到像DeepSeek-V3这样的通用聊天LLMs通常无法利用该领域相关的预训练知识，而推理LLMs则倾向于过度思考并忽略预训练期间的有效知识。基于这些见解，我们提出了两种策略：检索增强生成和编译器反馈，以提高LLM的性能。这些策略带来了显著的改进，Deepseek-R1在提供正确原理图的情况下达到了65.1%的pass@1，在没有原理图的情况下达到了53.1%。此外，Arduino到ESP32迁移任务的准确率从21.4%提高到27.8%。

🔬 方法详解

问题定义：论文旨在解决如何有效评估大语言模型（LLMs）在嵌入式系统开发中的能力的问题。现有方法缺乏专门针对嵌入式系统开发的基准测试，无法全面衡量LLMs在编程、电路设计和跨平台迁移等任务中的表现。现有通用LLMs在处理嵌入式系统相关任务时，存在无法有效利用领域知识、过度推理等问题，导致性能不佳。

核心思路：论文的核心思路是构建一个模拟真实嵌入式系统开发场景的评估框架，即EmbedAgent范例和Embedbench基准测试。通过模拟嵌入式系统程序员、架构师和集成者等角色，并设计涵盖编程、电路设计和跨平台迁移等任务的测试用例，全面评估LLMs的能力。同时，通过分析实验结果，提出检索增强生成和编译器反馈等策略，提升LLMs在嵌入式系统开发中的性能。

技术框架：EmbedAgent框架包含以下几个主要组成部分： 1. EmbedAgent范例：模拟嵌入式系统开发中的不同角色，例如程序员、架构师和集成者，定义了每个角色的任务和目标。 2. Embedbench基准测试：包含126个案例，涵盖9个电子元件和3个硬件平台，覆盖嵌入式系统编程、电路设计和跨平台迁移等任务。 3. 评估指标：采用pass@1作为主要评估指标，衡量LLMs在一次尝试中成功完成任务的概率。 4. 优化策略：提出检索增强生成和编译器反馈等策略，提升LLMs在嵌入式系统开发中的性能。

关键创新：论文的主要创新点在于： 1. EmbedAgent范例：首次提出模拟真实嵌入式系统开发角色的范例，为评估LLMs在该领域的能力提供了一种新的视角。 2. Embedbench基准测试：构建了首个全面的嵌入式系统编程、电路设计和跨平台迁移基准测试，为LLMs在该领域的评估提供了标准化的测试平台。 3. 优化策略：提出了检索增强生成和编译器反馈等策略，有效提升了LLMs在嵌入式系统开发中的性能。

关键设计： 1. 检索增强生成：利用外部知识库，为LLMs提供相关的领域知识，从而提高其在嵌入式系统开发任务中的性能。 2. 编译器反馈：将编译器的错误信息反馈给LLMs，帮助其纠正代码中的错误，从而提高代码的正确率。 3. 硬件平台选择：选择了Raspberry Pi Pico、ESP32等主流嵌入式硬件平台，保证了基准测试的实用性和代表性。 4. 任务设计：设计的任务涵盖了嵌入式系统开发的各个方面，包括编程、电路设计和跨平台迁移等，全面评估LLMs的能力。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，DeepSeek-R1在提供原理图信息的情况下，pass@1率达到55.6%，自行生成原理图时为50.0%。在跨平台迁移任务中，LLMs在Raspberry Pi Pico上的MicroPython表现较好（73.8% pass@1），但在ESP-IDF上表现较差（29.4% pass@1）。通过检索增强生成和编译器反馈等策略，Deepseek-R1在提供正确原理图的情况下达到了65.1%的pass@1，在没有原理图的情况下达到了53.1%。Arduino到ESP32迁移任务的准确率从21.4%提高到27.8%。

🎯 应用场景

该研究成果可应用于自动化嵌入式系统开发、智能硬件设计、物联网设备编程等领域。通过利用LLMs的强大能力，可以降低嵌入式系统开发的门槛，提高开发效率，并促进智能硬件的创新。未来，该研究可以进一步扩展到更复杂的嵌入式系统应用场景，例如机器人、自动驾驶等。

📄 摘要（原文）

Large Language Models (LLMs) have shown promise in various tasks, yet few benchmarks assess their capabilities in embedded system development.In this paper, we introduce EmbedAgent, a paradigm designed to simulate real-world roles in embedded system development, such as Embedded System Programmer, Architect, and Integrator. This paradigm enables LLMs to be tested in tasks that bridge the gap between digital and physical systems, allowing for a more comprehensive assessment of their capabilities. To evaluate LLMs on these tasks, we propose Embedbench, the first comprehensive benchmark for embedded system programming, circuit design, and cross-platform migration.Embedbench consists of 126 cases, covering 9 electronic components across 3 hardware platforms. Through extensive experiments on 10 mainstream LLMs, we uncover several key findings. Surprisingly, despite the simplicity of the cases, DeepSeek-R1 achieves only a 55.6% pass@1 rate when provided with schematic information, and 50.0% when tasked with generating the schematics itself. In the cross-platform migration tasks, LLMs show relatively strong performance with MicroPython on the Raspberry Pi Pico (with the top model achieving 73.8% pass@1), but perform poorly on ESP-IDF, where the best model reaches only 29.4% pass@1.Interestingly, we observe that general-purpose chat LLMs like DeepSeek-V3 often fail to utilize relevant pre-trained knowledge in this domain, while reasoning LLMs tend to overthink and overlook efficient knowledge during pretraining. Based on these insights, we propose two strategies: retrieval augmented generation and compiler feedback-to enhance LLM performance. These strategies result in significant improvements, with Deepseek-R1 reaching a 65.1% pass@1 with correct schematics, and 53.1% without. Additionally, the accuracy of the Arduino to ESP32 migration task improves from 21.4% to 27.8%.