MPM-LLM4DSE: Reaching the Pareto Frontier in HLS with Multimodal Learning and LLM-Driven Exploration

📄 arXiv: 2601.04801v1 📥 PDF

作者: Lei Xu, Shanshan Wang, Chenglong Xiao

分类: cs.AR, cs.LG

发布日期: 2026-01-08

🔗 代码/项目: GITHUB

💡 一句话要点

MPM-LLM4DSE：利用多模态学习和LLM驱动探索实现HLS帕累托前沿优化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高层次综合 设计空间探索 多模态学习 大型语言模型 图神经网络 提示工程 硬件加速

📋 核心要点

  1. 现有基于GNN的HLS DSE方法难以充分捕捉行为描述中的语义信息，且传统多目标优化算法缺乏领域知识指导。
  2. 提出MPM-LLM4DSE框架，融合多模态特征进行QoR预测，并利用LLM结合提示工程进行DSE优化。
  3. 实验表明，MPM预测精度显著优于ProgSG，最高提升10.25倍；LLM4DSE在DSE任务中平均性能提升39.90%。

📝 摘要（中文）

高层次综合(HLS)设计空间探索(DSE)旨在庞大的pragma配置空间中寻找帕累托最优设计。为了加速HLS DSE，通常采用图神经网络(GNN)作为HLS工具的替代模型来预测结果质量(QoR)指标，同时多目标优化算法加速探索过程。然而，基于GNN的预测方法可能无法完全捕捉行为描述中固有的丰富语义特征，并且传统的多目标优化算法通常没有明确考虑pragma指令如何影响QoR的领域特定知识。为了解决这些限制，本文提出了MPM-LLM4DSE框架，该框架结合了多模态预测模型(MPM)，该模型同时融合来自行为描述以及控制和数据流图的特征。此外，该框架采用大型语言模型(LLM)作为优化器，并辅以量身定制的提示工程方法。该方法结合了pragma对QoR的影响分析，以指导LLM生成高质量的配置(LLM4DSE)。实验结果表明，我们的多模态预测模型显著优于最先进的ProgSG，最高可达10.25倍。此外，在DSE任务中，所提出的LLM4DSE比先前的方法平均性能提升了39.90％，验证了我们的提示方法的有效性。

🔬 方法详解

问题定义：HLS设计空间探索旨在寻找满足性能、功耗等多个目标的帕累托最优设计。现有方法依赖GNN预测QoR，但GNN难以捕捉代码行为描述的深层语义，且传统多目标优化算法缺乏HLS领域知识，导致搜索效率低，难以找到最优解。

核心思路：利用多模态信息融合提升QoR预测精度，并引入LLM作为优化器，通过提示工程注入HLS领域知识，指导LLM生成高质量的pragma配置，从而更高效地探索设计空间。

技术框架：MPM-LLM4DSE框架包含两个主要模块：多模态预测模型（MPM）和LLM驱动的设计空间探索（LLM4DSE）。MPM融合代码行为描述和控制/数据流图的特征，预测QoR。LLM4DSE利用LLM作为优化器，通过精心设计的提示，结合pragma影响分析，指导LLM生成pragma配置。

关键创新：1. 提出多模态预测模型MPM，有效融合代码行为描述和图结构信息，提升QoR预测精度。2. 引入LLM作为HLS DSE的优化器，并设计提示工程方法，将HLS领域知识注入LLM，指导其生成高质量配置。

关键设计：MPM的具体网络结构未知，但其核心在于融合文本和图的特征。LLM4DSE的关键在于提示的设计，需要包含pragma对QoR的影响分析，例如，循环展开对性能和资源的影响等。具体的损失函数和参数设置在论文中可能有所描述，但摘要中未提及。

📊 实验亮点

实验结果表明，MPM在QoR预测方面显著优于现有最先进方法ProgSG，最高提升达10.25倍。在DSE任务中，LLM4DSE相比于传统方法，平均性能提升了39.90%，证明了多模态信息融合和LLM驱动的DSE方法的有效性。代码和模型已开源。

🎯 应用场景

该研究成果可应用于自动化的HLS流程，帮助硬件工程师快速找到满足性能、功耗等约束的优化设计方案。通过提升HLS DSE的效率，可以缩短硬件开发周期，降低开发成本，并提升最终产品的性能和能效。该方法具有潜力应用于各种FPGA和ASIC设计场景。

📄 摘要（原文）

High-Level Synthesis (HLS) design space exploration (DSE) seeks Pareto-optimal designs within expansive pragma configuration spaces. To accelerate HLS DSE, graph neural networks (GNNs) are commonly employed as surrogates for HLS tools to predict quality of results (QoR) metrics, while multi-objective optimization algorithms expedite the exploration. However, GNN-based prediction methods may not fully capture the rich semantic features inherent in behavioral descriptions, and conventional multi-objective optimization algorithms often do not explicitly account for the domain-specific knowledge regarding how pragma directives influence QoR. To address these limitations, this paper proposes the MPM-LLM4DSE framework, which incorporates a multimodal prediction model (MPM) that simultaneously fuses features from behavioral descriptions and control and data flow graphs. Furthermore, the framework employs a large language model (LLM) as an optimizer, accompanied by a tailored prompt engineering methodology. This methodology incorporates pragma impact analysis on QoR to guide the LLM in generating high-quality configurations (LLM4DSE). Experimental results demonstrate that our multimodal predictive model significantly outperforms state-of-the-art work ProgSG by up to 10.25$\times$. Furthermore, in DSE tasks, the proposed LLM4DSE achieves an average performance gain of 39.90\% over prior methods, validating the effectiveness of our prompting methodology. Code and models are available at https://github.com/wslcccc/MPM-LLM4DSE.