Code Evolution Graphs: Understanding Large Language Model Driven Design of Algorithms

📄 arXiv: 2503.16668v1 📥 PDF

作者: Niki van Stein, Anna V. Kononova, Lars Kotthoff, Thomas Bäck

分类: cs.NE, cs.AI

发布日期: 2025-03-20

备注: Accepted at GECCO 2025

💡 一句话要点

提出代码演化图，用于分析LLM驱动的算法设计过程，揭示LLM在进化计算中的代码生成模式。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 代码生成 进化计算 算法设计 代码演化图

📋 核心要点

  1. 现有方法缺乏对LLM驱动的代码生成过程的深入理解，导致算法优化停滞时难以有效干预。
  2. 提出代码演化图，通过可视化LLM在进化过程中的代码生成和演变，帮助用户分析和理解LLM的行为。
  3. 实验表明，LLM倾向于生成更复杂的代码，但复杂性并非总是带来性能提升，且不同LLM具有不同的编码风格。

📝 摘要（中文）

大型语言模型（LLM）在生成代码方面展现出巨大潜力，尤其是在进化计算框架中迭代优化算法时。然而，在某些情况下，它们无法生成具有竞争力的算法，或者代码优化停滞不前。由于缺乏对生成过程和生成代码的理解，我们对此无能为力。本文提出了一种新颖的方法来缓解这个问题，通过使用户能够分析进化过程中生成的代码，以及它们在LLM重复提示下的演变过程。我们展示了三个基准问题类的结果，并揭示了新的见解。特别是，LLM倾向于通过重复提示生成更复杂的代码，但在某些情况下，额外的复杂性会损害算法性能。不同的LLM具有不同的编码“风格”，并且生成的代码往往与其他LLM不同。这两个发现表明，在代码演化框架中使用不同的LLM可能比仅使用一个LLM产生更高性能的代码。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在进化计算框架中生成算法时，缺乏对生成过程和代码演化的理解的问题。现有方法难以分析LLM的行为，导致算法优化停滞时无法有效干预，也难以理解为何某些LLM生成的代码性能不佳。

核心思路：论文的核心思路是构建“代码演化图”，通过可视化LLM在进化过程中的代码生成和演变，使用户能够深入分析LLM的行为模式，例如代码复杂度的变化、不同LLM的编码风格差异等。这种可视化分析有助于理解LLM的优势和局限性，从而指导算法设计和优化。

技术框架：该方法的核心是构建代码演化图。具体流程包括：1) 使用LLM生成初始代码；2) 在进化计算框架中，通过重复提示LLM对代码进行迭代优化；3) 在每次迭代中，记录生成的代码及其性能；4) 基于代码的相似性和性能，构建代码演化图，其中节点代表代码，边代表代码之间的演化关系；5) 用户可以通过可视化界面，分析代码演化图，例如查看代码复杂度的变化、不同LLM生成的代码差异等。

关键创新：该方法最重要的创新点在于提出了“代码演化图”的概念，并将其应用于分析LLM驱动的算法设计过程。与传统的黑盒优化方法不同，代码演化图提供了一种透明的方式来理解LLM的行为，从而可以更好地利用LLM的优势，并避免其局限性。

关键设计：代码演化图的关键设计包括：1) 代码相似性度量：用于确定代码之间的演化关系，可以使用文本相似性度量或代码执行行为相似性度量；2) 可视化界面：用于展示代码演化图，并提供交互式分析功能，例如代码搜索、代码比较、性能分析等；3) 进化计算框架：选择合适的进化计算算法，例如遗传算法或进化策略，用于迭代优化LLM生成的代码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM倾向于通过重复提示生成更复杂的代码，但在某些情况下，额外的复杂性会损害算法性能。此外，不同的LLM具有不同的编码“风格”，并且生成的代码往往与其他LLM不同。这些发现表明，在代码演化框架中使用不同的LLM可能比仅使用一个LLM产生更高性能的代码。具体性能提升数据未知。

🎯 应用场景

该研究成果可应用于自动化算法设计、软件工程和人工智能教育等领域。通过分析LLM的代码生成模式，可以更好地利用LLM来辅助算法设计，提高软件开发效率。此外，该方法还可以用于教育领域，帮助学生理解算法设计和优化过程。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated great promise in generating code, especially when used inside an evolutionary computation framework to iteratively optimize the generated algorithms. However, in some cases they fail to generate competitive algorithms or the code optimization stalls, and we are left with no recourse because of a lack of understanding of the generation process and generated codes. We present a novel approach to mitigate this problem by enabling users to analyze the generated codes inside the evolutionary process and how they evolve over repeated prompting of the LLM. We show results for three benchmark problem classes and demonstrate novel insights. In particular, LLMs tend to generate more complex code with repeated prompting, but additional complexity can hurt algorithmic performance in some cases. Different LLMs have different coding ``styles'' and generated code tends to be dissimilar to other LLMs. These two findings suggest that using different LLMs inside the code evolution frameworks might produce higher performing code than using only one LLM.