Evolution of Kernels: Automated RISC-V Kernel Optimization with Large Language Models

📄 arXiv: 2509.14265v1 📥 PDF

作者: Siyuan Chen, Zhichao Lu, Qingfu Zhang

分类: cs.SE, cs.AI

发布日期: 2025-09-14

备注: Technical report

💡 一句话要点

EoK：利用大语言模型自动优化RISC-V内核，解决参考资料稀缺问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RISC-V 内核优化 大语言模型 进化搜索 自动化设计 检索增强生成 参考资料稀缺

📋 核心要点

  1. 新兴硬件平台RISC-V缺乏成熟的软件生态，自动内核设计是关键，但现有方法难以应对RISC-V参考资料稀缺的挑战。
  2. EoK通过挖掘现有内核库的开发历史，提取可重用的优化思想，并结合RAG技术，指导LLM进行内核设计。
  3. 实验表明，EoK在80个内核设计任务上超越了人类专家，并比之前的LLM方法提高了20%，实现了1.27倍的中值加速。

📝 摘要（中文）

自动内核设计对于克服新兴硬件平台（如RISC-V）的软件生态系统障碍至关重要。尽管大型语言模型（LLM）在自动内核优化方面展现出潜力，并在具有全面技术文档和成熟代码库的CUDA领域取得了成功，但它们在参考资料稀缺的领域（如RISC-V）的有效性仍未得到证实。我们提出了内核进化（EoK），这是一种新颖的基于LLM的进化程序搜索框架，可自动执行参考资料有限的领域的内核设计。EoK通过挖掘和形式化来自已建立的内核库开发历史的可重用优化思想（通用设计原则+可操作的想法）来缓解参考资料稀缺的问题；然后，它使用这些思想指导并行LLM探索，并通过检索增强生成（RAG）丰富RISC-V特定上下文，优先考虑历史上有效的技术。经验表明，EoK实现了1.27倍的中值加速，超过了所有80个评估的内核设计任务的人类专家，并且比以前基于LLM的自动内核设计方法提高了20%。这些结果强调了将人类经验纳入新兴领域的可行性，并突出了基于LLM的自动内核优化的巨大潜力。

🔬 方法详解

问题定义：论文旨在解决RISC-V等新兴硬件平台上内核自动设计的问题。现有方法，特别是基于LLM的方法，在CUDA等参考资料丰富的领域表现良好，但在RISC-V等参考资料稀缺的领域效果不佳。痛点在于缺乏足够的训练数据和领域知识，导致LLM难以生成有效的内核代码。

核心思路：EoK的核心思路是从已有的、成熟的内核库的开发历史中提取可重用的优化思想，并将其形式化为通用设计原则和可操作的想法。这些思想作为先验知识，指导LLM进行内核设计，从而缓解参考资料稀缺的问题。同时，利用检索增强生成（RAG）技术，为LLM提供RISC-V特定的上下文信息，进一步提高生成内核的质量。

技术框架：EoK的整体框架是一个基于LLM的进化程序搜索过程。它包含以下主要模块：1) 优化思想挖掘模块，从现有内核库的开发历史中提取优化思想；2) 优化思想形式化模块，将提取的优化思想形式化为通用设计原则和可操作的想法；3) 基于LLM的内核生成模块，利用LLM和RAG技术，根据优化思想和RISC-V上下文信息生成内核代码；4) 进化搜索模块，通过迭代地评估和改进生成的内核代码，最终得到最优的内核设计。

关键创新：EoK最重要的技术创新点在于它能够从现有内核库的开发历史中学习优化思想，并将其应用于新的硬件平台。与现有方法相比，EoK不需要大量的RISC-V特定数据，而是利用已有的知识来指导LLM进行内核设计。这种方法可以有效地缓解参考资料稀缺的问题，并提高内核设计的效率和质量。

关键设计：EoK的关键设计包括：1) 如何有效地从开发历史中提取优化思想；2) 如何将优化思想形式化为LLM可以理解和利用的形式；3) 如何利用RAG技术为LLM提供RISC-V特定的上下文信息；4) 如何设计进化搜索算法，以有效地评估和改进生成的内核代码。论文中可能涉及一些超参数的设置，例如LLM的规模、RAG的检索策略、进化搜索的参数等，但具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EoK在80个内核设计任务上进行了评估，结果表明，EoK实现了1.27倍的中值加速，超过了人类专家，并且比之前的LLM方法提高了20%。这些结果表明，EoK是一种有效的内核自动设计方法，尤其适用于参考资料稀缺的领域。

🎯 应用场景

EoK可应用于各种新兴硬件平台的内核自动设计，加速软件生态系统的构建。该方法尤其适用于参考资料稀缺的领域，例如新型处理器架构、专用加速器等。通过自动化内核优化，EoK可以降低开发成本，提高性能，并促进新兴硬件平台的普及。

📄 摘要（原文）

Automated kernel design is critical for overcoming software ecosystem barriers in emerging hardware platforms like RISC-V. While large language models (LLMs) have shown promise for automated kernel optimization, demonstrating success in CUDA domains with comprehensive technical documents and mature codebases, their effectiveness remains unproven for reference-scarce domains like RISC-V. We present Evolution of Kernels (EoK), a novel LLM-based evolutionary program search framework that automates kernel design for domains with limited reference material. EoK mitigates reference scarcity by mining and formalizing reusable optimization ideas (general design principles + actionable thoughts) from established kernel libraries' development histories; it then guides parallel LLM explorations using these ideas, enriched via Retrieval-Augmented Generation (RAG) with RISC-V-specific context, prioritizing historically effective techniques. Empirically, EoK achieves a median 1.27x speedup, surpassing human experts on all 80 evaluated kernel design tasks and improving upon prior LLM-based automated kernel design methods by 20%. These results underscore the viability of incorporating human experience into emerging domains and highlight the immense potential of LLM-based automated kernel optimization.