Explainable Fuzzy Neural Network with Multi-Fidelity Reinforcement Learning for Micro-Architecture Design Space Exploration

📄 arXiv: 2412.10754v1 📥 PDF

作者: Hanwei Fan, Ya Wang, Sicheng Li, Tingyuan Liang, Wei Zhang

分类: cs.LG, cs.AR

发布日期: 2024-12-14

备注: preprint version, published on DAC24

DOI: 10.1145/3649329.3657350

🔗 代码/项目: GITHUB

💡 一句话要点

提出可解释的模糊神经网络与多保真强化学习以优化微架构设计

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 微架构设计 设计空间探索 模糊神经网络 多保真强化学习 可解释性 机器学习 优化算法

📋 核心要点

  1. 现有的设计空间探索算法缺乏可解释性，限制了设计师对决策过程的理解。
  2. 本文提出利用模糊神经网络增强DSE过程的可解释性，并引入多保真强化学习提高探索效率。
  3. 实验结果显示，所提方法在样本预算有限的情况下表现优异，超越了当前最先进的技术。

📝 摘要（中文）

随着处理器的不断进步，现代微架构设计变得愈加复杂，广泛的设计空间给设计师带来了显著挑战。现有的设计空间探索（DSE）算法如贝叶斯优化和集成学习，因缺乏可解释性而限制了设计师对决策过程的理解。为了解决这一问题，本文提出利用模糊神经网络从DSE过程中提取和总结知识，增强可解释性和可控性。此外，本文引入多保真强化学习方法，主要使用低成本但精度较低的数据进行探索，从而显著减少对高成本数据的依赖。实验结果表明，所提方法在样本预算极为有限的情况下取得了优异的结果，并成功超越了当前的最先进水平。我们的DSE框架已开源，网址为https://github.com/fanhanwei/FNN_MFRL_ArchDSE/。

🔬 方法详解

问题定义：本文旨在解决微架构设计中的设计空间探索（DSE）可解释性不足的问题。现有的DSE算法如贝叶斯优化和集成学习在决策过程中的透明度较低，导致设计师难以理解其决策依据。

核心思路：论文提出利用模糊神经网络（FNN）从DSE过程中提取知识，以增强可解释性和可控性。同时，采用多保真强化学习（MFRL）方法，利用低成本数据进行初步探索，从而降低对高成本数据的依赖。

技术框架：整体框架包括数据收集、模糊神经网络模型构建、强化学习策略优化等主要模块。首先，使用低保真数据进行初步探索，然后通过FNN总结知识，最后利用强化学习优化设计决策。

关键创新：最重要的创新点在于结合模糊神经网络与多保真强化学习，提升了DSE过程的可解释性和效率。这一方法与传统的DSE算法相比，显著提高了设计师对决策过程的理解。

关键设计：在模型设计中，采用了特定的损失函数以优化模糊神经网络的输出，同时在强化学习中设置了适当的奖励机制，以鼓励有效的设计探索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在样本预算极为有限的情况下，成功超越了当前最先进的DSE算法，表现出显著的性能提升，具体数据未提供，但结果显示出良好的可行性和有效性。

🎯 应用场景

该研究的潜在应用领域包括微处理器设计、嵌入式系统开发以及高性能计算等。通过提高设计空间探索的可解释性和效率，能够帮助设计师更好地理解和优化微架构设计，从而推动相关技术的进步与创新。

📄 摘要（原文）

With the continuous advancement of processors, modern micro-architecture designs have become increasingly complex. The vast design space presents significant challenges for human designers, making design space exploration (DSE) algorithms a significant tool for $μ$-arch design. In recent years, efforts have been made in the development of DSE algorithms, and promising results have been achieved. However, the existing DSE algorithms, e.g., Bayesian Optimization and ensemble learning, suffer from poor interpretability, hindering designers' understanding of the decision-making process. To address this limitation, we propose utilizing Fuzzy Neural Networks to induce and summarize knowledge and insights from the DSE process, enhancing interpretability and controllability. Furthermore, to improve efficiency, we introduce a multi-fidelity reinforcement learning approach, which primarily conducts exploration using cheap but less precise data, thereby substantially diminishing the reliance on costly data. Experimental results show that our method achieves excellent results with a very limited sample budget and successfully surpasses the current state-of-the-art. Our DSE framework is open-sourced and available at https://github.com/fanhanwei/FNN_MFRL_ArchDSE/\ .