DiffHLS: Differential Learning for High-Level Synthesis QoR Prediction with GNNs and LLM Code Embeddings

📄 arXiv: 2604.09240v1 📥 PDF

作者: Zedong Peng, Zeju Li, Qiang Xu, Jieru Zhao

分类: cs.LG

发布日期: 2026-04-10

💡 一句话要点

DiffHLS：利用GNN和LLM代码嵌入进行HLS QoR预测的差分学习框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高层次综合 质量结果预测 差分学习 图神经网络 大语言模型

📋 核心要点

  1. HLS优化中，探索编译指示驱动的设计空间耗时巨大，每次综合都需要大量时间。
  2. DiffHLS通过差分学习，学习内核基线和设计变体之间的差异，预测QoR，避免直接回归绝对目标。
  3. 实验表明，DiffHLS在PolyBench和ForgeHLS数据集上优于GNN基线，且LLM代码嵌入能进一步提升性能。

📝 摘要（中文）

高层次综合(HLS)将C/C++代码编译成RTL代码，但探索由编译指示驱动的优化选择仍然非常耗时，因为每个设计点都需要耗时的综合过程。我们提出了\textbf{\DiffHLS}，一个用于HLS质量结果(QoR)预测的差分学习框架，它从内核-设计对中学习：一个内核基线和一个插入了编译指示的设计变体。\DiffHLS使用专用的图神经网络(GNN)分支编码内核和设计的中间表示图，并使用来自预训练代码大语言模型(LLM)的代码嵌入来增强delta路径。我们联合预测内核基线和设计引起的delta，并将它们组合起来以获得设计预测，而不是直接回归绝对目标。在PolyBench上，\DiffHLS在四个GNN骨干网络下获得了比GNN基线更低的平均MAPE，并且LLM代码嵌入始终优于仅使用GNN的消融实验。我们进一步验证了在ForgeHLS数据集上的可扩展性。

🔬 方法详解

问题定义：论文旨在解决高层次综合(HLS)中，由于设计空间探索需要大量耗时综合过程，导致难以快速预测不同编译指示(pragma)配置下的质量结果(QoR)的问题。现有方法通常直接回归绝对QoR值，忽略了设计变体与原始内核之间的关联性，效率较低。

核心思路：DiffHLS的核心思想是利用差分学习，将QoR预测问题分解为两个子问题：预测内核基线的QoR和预测设计变体相对于基线的QoR差异(delta)。通过学习这种差异，模型可以更好地捕捉编译指示对QoR的影响，从而提高预测精度和效率。

技术框架：DiffHLS框架包含三个主要模块：内核GNN分支、设计GNN分支和delta路径。内核GNN分支和设计GNN分支分别用于编码内核和设计变体的中间表示图。delta路径则利用LLM代码嵌入来增强对设计变动信息的捕捉。最终，模型联合预测内核基线的QoR和设计变体相对于基线的QoR差异，并将两者组合以获得设计变体的QoR预测。

关键创新：DiffHLS的关键创新在于引入了差分学习的思想，并结合GNN和LLM代码嵌入来预测HLS QoR。与直接回归绝对QoR值的方法相比，差分学习能够更好地利用内核和设计变体之间的关联性，提高预测精度。同时，LLM代码嵌入能够捕捉代码语义信息，进一步提升模型性能。

关键设计：DiffHLS使用GNN来编码内核和设计的中间表示图，GNN的具体结构可以根据不同的backbone进行选择。delta路径中，LLM代码嵌入被用于增强对设计变动信息的捕捉。损失函数方面，DiffHLS联合优化内核基线的QoR预测和设计变体相对于基线的QoR差异预测，通过组合两个预测结果得到最终的设计变体QoR预测值。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

DiffHLS在PolyBench数据集上，相较于GNN基线，在四个GNN骨干网络下均取得了更低的平均MAPE（平均绝对百分比误差）。实验结果还表明，LLM代码嵌入能够持续提升模型性能，优于仅使用GNN的消融实验。此外，DiffHLS在ForgeHLS数据集上验证了其良好的可扩展性。

🎯 应用场景

DiffHLS可应用于HLS工具链中，帮助设计者快速评估不同编译指示配置下的QoR，从而加速设计空间探索，优化硬件设计。该研究成果有助于提高HLS设计的效率和质量，降低开发成本，并推动HLS技术在更广泛领域的应用。

📄 摘要（原文）

High-Level Synthesis (HLS) compiles C/C++ into RTL, but exploring pragma-driven optimization choices remains expensive because each design point requires time-consuming synthesis. We propose \textbf{\DiffHLS}, a differential learning framework for HLS Quality-of-Result (QoR) prediction that learns from kernel--design pairs: a kernel baseline and a pragma-inserted design variant. \DiffHLS~encodes kernel and design intermediate-representation graphs with dedicated graph neural network (GNN) branches, and augments the delta pathway with code embeddings from a pretrained code large language model (LLM). Instead of regressing absolute targets directly, we jointly predict the kernel baseline and the design-induced delta, and compose them to obtain the design prediction. On PolyBench, \DiffHLS~attains lower average MAPE than GNN baselines under four GNN backbones, and LLM code embeddings consistently improve over a GNN-only ablation. We further validate scalability on the ForgeHLS dataset.