MPM-LLM4DSE: Reaching the Pareto Frontier in HLS with Multimodal Learning and LLM-Driven Exploration

📄 arXiv: 2601.04801v1 📥 PDF

作者: Lei Xu, Shanshan Wang, Chenglong Xiao

分类: cs.AR, cs.LG

发布日期: 2026-01-08

🔗 代码/项目: GITHUB

💡 一句话要点

MPM-LLM4DSE：利用多模态学习和LLM驱动探索，达到HLS设计空间的帕累托前沿

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 高层次综合 设计空间探索 多模态学习 大型语言模型 图神经网络 提示工程 硬件加速器

📋 核心要点

  1. 现有基于GNN的HLS设计空间探索方法难以充分捕捉行为描述中的语义信息，且优化算法缺乏领域知识。
  2. 提出MPM-LLM4DSE框架，融合多模态特征进行预测，并利用LLM结合提示工程进行优化，提升探索效率。
  3. 实验表明，多模态预测模型性能优于现有方法高达10.25倍，DSE任务性能平均提升39.90%。

📝 摘要（中文）

高层次综合(HLS)设计空间探索(DSE)旨在寻找pragma配置空间中帕累托最优的设计。为了加速HLS DSE，通常采用图神经网络(GNN)作为HLS工具的替代模型来预测结果质量(QoR)指标，同时多目标优化算法加速探索。然而，基于GNN的预测方法可能无法完全捕捉行为描述中固有的丰富语义特征，并且传统的多目标优化算法通常没有明确考虑关于pragma指令如何影响QoR的领域特定知识。为了解决这些限制，本文提出了MPM-LLM4DSE框架，该框架结合了多模态预测模型(MPM)，该模型同时融合来自行为描述以及控制和数据流图的特征。此外，该框架采用大型语言模型(LLM)作为优化器，并辅以量身定制的提示工程方法。该方法结合了pragma对QoR的影响分析，以指导LLM生成高质量的配置(LLM4DSE)。实验结果表明，我们的多模态预测模型显著优于最先进的ProgSG，高达10.25倍。此外，在DSE任务中，所提出的LLM4DSE比先前的方法平均性能提升了39.90％，验证了我们的提示方法的有效性。

🔬 方法详解

问题定义：论文旨在解决高层次综合(HLS)设计空间探索(DSE)中，现有方法无法有效利用代码语义信息和领域知识，导致搜索效率低下的问题。现有基于GNN的方法难以充分捕捉行为描述中的语义信息，传统多目标优化算法缺乏对pragma指令影响QoR的领域知识的有效利用。

核心思路：论文的核心思路是结合多模态信息和大型语言模型(LLM)，提升HLS DSE的效率和质量。通过多模态预测模型(MPM)融合代码的行为描述和控制/数据流图的特征，更全面地理解设计；利用LLM作为优化器，并结合提示工程，将领域知识融入优化过程中，引导LLM生成高质量的配置。

技术框架：MPM-LLM4DSE框架主要包含两个核心模块：多模态预测模型(MPM)和LLM驱动的设计空间探索(LLM4DSE)。MPM负责预测不同pragma配置下的QoR指标，LLM4DSE则利用LLM生成新的pragma配置，并根据MPM的预测结果进行迭代优化。整个流程通过提示工程将pragma影响分析融入LLM的配置生成过程中。

关键创新：论文的关键创新在于：1) 提出了多模态预测模型(MPM)，能够同时融合行为描述和控制/数据流图的特征，提升预测精度；2) 提出了LLM4DSE方法，利用LLM作为优化器，并通过提示工程将领域知识融入优化过程，提升了DSE的效率和质量。

关键设计：MPM的具体网络结构未知，但其输入包括行为描述和控制/数据流图的特征。LLM4DSE的关键在于提示工程的设计，如何将pragma影响分析有效地融入提示中，引导LLM生成高质量的配置是关键。具体的提示工程细节未知。

📊 实验亮点

实验结果表明，提出的多模态预测模型MPM显著优于最先进的ProgSG，性能提升高达10.25倍。在DSE任务中，LLM4DSE方法相比现有方法，平均性能提升了39.90%，验证了该方法的有效性。

🎯 应用场景

该研究成果可应用于各种HLS设计流程中，加速硬件加速器的开发，提升设计效率和性能。通过自动探索设计空间，找到帕累托最优的设计方案，降低人工干预的需求，并有望推动HLS工具的智能化发展。

📄 摘要（原文）

High-Level Synthesis (HLS) design space exploration (DSE) seeks Pareto-optimal designs within expansive pragma configuration spaces. To accelerate HLS DSE, graph neural networks (GNNs) are commonly employed as surrogates for HLS tools to predict quality of results (QoR) metrics, while multi-objective optimization algorithms expedite the exploration. However, GNN-based prediction methods may not fully capture the rich semantic features inherent in behavioral descriptions, and conventional multi-objective optimization algorithms often do not explicitly account for the domain-specific knowledge regarding how pragma directives influence QoR. To address these limitations, this paper proposes the MPM-LLM4DSE framework, which incorporates a multimodal prediction model (MPM) that simultaneously fuses features from behavioral descriptions and control and data flow graphs. Furthermore, the framework employs a large language model (LLM) as an optimizer, accompanied by a tailored prompt engineering methodology. This methodology incorporates pragma impact analysis on QoR to guide the LLM in generating high-quality configurations (LLM4DSE). Experimental results demonstrate that our multimodal predictive model significantly outperforms state-of-the-art work ProgSG by up to 10.25$\times$. Furthermore, in DSE tasks, the proposed LLM4DSE achieves an average performance gain of 39.90\% over prior methods, validating the effectiveness of our prompting methodology. Code and models are available at https://github.com/wslcccc/MPM-LLM4DSE.