HWE-Bench: Benchmarking LLM Agents on Real-World Hardware Bug Repair Tasks

📄 arXiv: 2604.14709v1 📥 PDF

作者: Fan Cui, Hongyuan Hou, Zizhang Luo, Chenyun Yin, Yun Liang

分类: cs.AI

发布日期: 2026-04-16

💡 一句话要点

HWE-Bench：首个面向真实硬件缺陷修复任务的大规模LLM Agent基准测试

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 硬件缺陷修复 LLM Agent 基准测试 硬件设计 自动化调试

📋 核心要点

  1. 现有硬件设计基准主要评估LLM在孤立的组件级任务上的表现，缺乏仓库级别的评估。
  2. HWE-Bench通过构建大规模、仓库级别的真实硬件缺陷修复任务，弥补了这一空白。
  3. 实验结果表明，LLM Agent在不同项目和缺陷类型上的性能差异显著，为未来研究提供了方向。

📝 摘要（中文）

本文提出了HWE-Bench，这是首个大规模、仓库级别的基准测试，用于评估LLM Agent在真实硬件缺陷修复任务中的表现。HWE-Bench包含417个任务实例，这些实例来源于六个主要的开源项目的真实历史缺陷修复pull request，涵盖Verilog/SystemVerilog和Chisel，包括RISC-V内核、SoC和安全信任根。每个任务都基于完全容器化的环境，Agent必须解决真实的缺陷报告，并通过项目的原生仿真和回归流程验证正确性。该基准测试通过一个高度自动化的流程构建，可以高效地扩展到新的仓库。研究评估了七个LLM和四个Agent框架，发现最佳Agent总体上解决了70.7%的任务，在较小内核上的性能超过90%，但在复杂的SoC级别项目上降至65%以下。模型之间的性能差距大于软件基准测试中常见的差距，并且难度取决于项目范围和缺陷类型分布，而不仅仅是代码大小。失败分析将Agent失败归因于调试过程的三个阶段：故障定位、硬件语义推理以及跨RTL、配置和验证组件的跨工件协调，为开发更强大的硬件感知Agent提供了具体方向。

🔬 方法详解

问题定义：现有硬件设计评估主要集中在组件级别的任务，例如从规范生成HDL模块，缺乏对大型代码仓库中真实缺陷修复场景的评估。现有方法难以评估LLM Agent在复杂硬件项目中的实际应用能力，以及在跨文件、跨模块协同调试方面的表现。

核心思路：HWE-Bench的核心思路是构建一个大规模、真实且可复现的硬件缺陷修复基准。通过收集开源硬件项目的真实缺陷修复pull request，并将其转化为可执行的任务实例，从而能够全面评估LLM Agent在实际硬件开发场景中的能力。

技术框架：HWE-Bench的构建流程主要包括以下几个阶段：1) 从开源硬件项目中收集历史缺陷修复pull request；2) 将这些pull request转化为可执行的任务实例，包括缺陷描述、代码和测试环境；3) 构建一个容器化的环境，用于执行和验证LLM Agent的修复结果；4) 提供评估指标，用于衡量LLM Agent的性能。

关键创新：HWE-Bench的关键创新在于其真实性和规模。它基于真实的硬件项目和缺陷，能够更准确地反映LLM Agent在实际应用中的表现。此外，HWE-Bench的自动化构建流程使其能够高效地扩展到新的项目和缺陷。

关键设计：HWE-Bench的任务实例包括缺陷描述、代码和测试环境。缺陷描述包括缺陷的症状、原因和修复方法。代码包括受影响的RTL代码、配置和验证组件。测试环境包括项目的原生仿真和回归流程。评估指标包括修复成功率、修复时间和代码质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，最佳Agent在HWE-Bench上解决了70.7%的任务。在较小的RISC-V内核上，性能超过90%，但在复杂的SoC级别项目上，性能降至65%以下。模型之间的性能差距显著，表明硬件任务对LLM提出了更高的要求。失败分析揭示了Agent在故障定位、硬件语义推理和跨工件协调方面的不足。

🎯 应用场景

HWE-Bench的研究成果可应用于自动化硬件调试、硬件设计辅助和硬件安全漏洞修复等领域。通过利用LLM Agent自动修复硬件缺陷，可以显著提高硬件开发效率，降低开发成本，并提升硬件系统的可靠性和安全性。该基准测试也能促进硬件领域AI Agent的发展。

📄 摘要（原文）

Existing benchmarks for hardware design primarily evaluate Large Language Models (LLMs) on isolated, component-level tasks such as generating HDL modules from specifications, leaving repository-scale evaluation unaddressed. We introduce HWE-Bench, the first large-scale, repository-level benchmark for evaluating LLM agents on real-world hardware bug repair tasks. HWE-Bench comprises 417 task instances derived from real historical bug-fix pull requests across six major open-source projects spanning both Verilog/SystemVerilog and Chisel, covering RISC-V cores, SoCs, and security roots-of-trust. Each task is grounded in a fully containerized environment where the agent must resolve a real bug report, with correctness validated through the project's native simulation and regression flows. The benchmark is built through a largely automated pipeline that enables efficient expansion to new repositories. We evaluate seven LLMs with four agent frameworks and find that the best agent resolves 70.7% of tasks overall, with performance exceeding 90% on smaller cores but dropping below 65% on complex SoC-level projects. We observe larger performance gaps across models than commonly reported on software benchmarks, and difficulty is driven by project scope and bug-type distribution rather than code size alone. Our failure analysis traces agent failures to three stages of the debugging process: fault localization, hardware-semantic reasoning, and cross-artifact coordination across RTL, configuration, and verification components, providing concrete directions for developing more capable hardware-aware agents.