MHRC-Bench: A Multilingual Hardware Repository-Level Code Completion benchmark

📄 arXiv: 2601.03708v1 📥 PDF

作者: Qingyun Zou, Jiahao Cui, Nuo Chen, Bingsheng He, Weng-Fai Wong

分类: cs.PL, cs.AI

发布日期: 2026-01-07

💡 一句话要点

提出MHRC-Bench，首个多语言硬件代码仓库级代码补全基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 硬件描述语言 代码补全 大型语言模型 基准测试 仓库级代码

📋 核心要点

  1. 现有代码补全基准主要集中于软件代码，缺乏对硬件描述语言的有效支持，限制了LLM在硬件设计领域的应用。
  2. MHRC-Bench通过构建包含多种硬件描述语言和编码风格的仓库级代码补全数据集，填补了现有基准的空白。
  3. 该基准包含代码结构级和硬件语义标签，并进行了全面的模型评估，验证了基准的有效性。

📝 摘要（中文）

大型语言模型（LLMs）在通用编程语言的代码补全任务中表现出色。然而，现有的仓库级代码补全基准几乎完全侧重于软件代码，而很大程度上忽略了硬件描述语言。本文提出了 extbf{MHRC-Bench}，它由 extbf{MHRC-Bench-Train}和 extbf{MHRC-Bench-Eval}组成，是首个专为多语言硬件代码仓库级代码补全设计的基准。我们的基准针对补全任务，涵盖了三种主要的硬件设计编码风格。每个补全目标都使用从具体语法树分析中导出的代码结构级和面向硬件的语义标签进行注释。我们对MHRC-Bench-Eval上的模型进行了全面评估。全面的评估结果和分析证明了MHRC-Bench的有效性。

🔬 方法详解

问题定义：现有仓库级代码补全基准主要关注软件代码，缺乏对硬件描述语言（如Verilog、VHDL）的支持。这使得LLM在硬件设计领域的应用受到限制，无法有效评估和提升模型在硬件代码补全方面的能力。现有方法无法提供足够的数据和评估标准来推动硬件代码补全技术的发展。

核心思路：MHRC-Bench的核心思路是构建一个多语言、仓库级的硬件代码补全基准，包含多种硬件描述语言和编码风格，并提供代码结构级和硬件语义标签。通过提供高质量的数据和评估标准，促进LLM在硬件代码补全方面的研究和应用。

技术框架：MHRC-Bench包含两个主要部分：MHRC-Bench-Train和MHRC-Bench-Eval。MHRC-Bench-Train用于模型训练，包含大量的硬件代码仓库数据。MHRC-Bench-Eval用于模型评估，包含精心设计的代码补全任务，并使用代码结构级和硬件语义标签进行注释。评估过程包括对模型生成的代码进行语法和语义分析，以评估其补全的准确性和有效性。

关键创新：MHRC-Bench的关键创新在于它是首个多语言硬件代码仓库级代码补全基准。它不仅包含了多种硬件描述语言，还提供了代码结构级和硬件语义标签，这使得可以更全面地评估模型在硬件代码补全方面的能力。此外，该基准还采用了仓库级的代码补全任务，更贴近实际的硬件设计场景。

关键设计：MHRC-Bench的关键设计包括：1) 多语言支持：包含Verilog、VHDL等多种硬件描述语言。2) 仓库级数据：数据来源于真实的硬件代码仓库，更贴近实际应用场景。3) 代码结构级和硬件语义标签：提供更细粒度的代码信息，有助于模型理解代码的结构和语义。4) 多种编码风格：涵盖不同的硬件设计编码风格，提高模型的泛化能力。5) 评估指标：采用多种评估指标，包括语法正确性、语义准确性等，全面评估模型的性能。

📊 实验亮点

MHRC-Bench的评估结果表明，现有LLM在硬件代码补全方面仍有很大的提升空间。通过在该基准上进行训练和评估，可以有效提升模型在硬件代码补全方面的性能。具体的性能数据和对比基线需要在论文中查找，但该基准的提出本身就是一个重要的贡献。

🎯 应用场景

MHRC-Bench可用于训练和评估大型语言模型在硬件代码补全方面的能力，加速硬件设计流程，提高硬件设计的效率和质量。该基准可应用于自动生成硬件代码、辅助硬件调试和验证等领域，具有广阔的应用前景和实际价值。未来，可以进一步扩展MHRC-Bench，包含更多的硬件描述语言和更复杂的硬件设计场景。

📄 摘要（原文）

Large language models (LLMs) have achieved strong performance on code completion tasks in general-purpose programming languages. However, existing repository-level code completion benchmarks focus almost exclusively on software code and largely overlook hardware description languages. In this work, we present \textbf{MHRC-Bench}, consisting of \textbf{MHRC-Bench-Train} and \textbf{MHRC-Bench-Eval}, the first benchmark designed for multilingual hardware code completion at the repository level. Our benchmark targets completion tasks and covers three major hardware design coding styles. Each completion target is annotated with code-structure-level and hardware-oriented semantic labels derived from concrete syntax tree analysis. We conduct a comprehensive evaluation of models on MHRC-Bench-Eval. Comprehensive evaluation results and analysis demonstrate the effectiveness of MHRC-Bench.