A Systematic Survey on Large Language Models for Algorithm Design

📄 arXiv: 2410.14716v5 📥 PDF

作者: Fei Liu, Yiming Yao, Ping Guo, Zhiyuan Yang, Zhe Zhao, Xi Lin, Xialiang Tong, Kun Mao, Zhichao Lu, Zhenkun Wang, Mingxuan Yuan, Qingfu Zhang

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-10-11 (更新: 2026-01-02)

🔗 代码/项目: GITHUB

💡 一句话要点

综述性研究：利用大型语言模型进行算法设计的系统性分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 算法设计 自动化 优化器 预测器 提取器 设计器 系统综述

📋 核心要点

  1. 现有算法设计综述缺乏对LLM在算法设计中应用的全面分析，限制了对该领域整体进展的理解。
  2. 本文构建了一个分类框架，将LLM在算法设计中的角色划分为优化器、预测器、提取器和设计器，并分析了各自的优缺点。
  3. 该研究系统回顾了算法设计流程的三个阶段，并涵盖了多种算法应用，为未来的研究方向提供了指导。

📝 摘要（中文）

算法设计对于解决各个领域的实际问题至关重要。大型语言模型（LLMs）的出现显著增强了该领域的自动化和创新能力，提供了新的视角和有前景的解决方案。短短几年内，这种融合在从组合优化到科学发现等领域取得了显著进展。尽管发展迅速，但由于现有综述要么局限于狭窄的子领域，要么目标不同，因此缺乏对该领域的整体理解。本文旨在对利用LLM进行算法设计进行系统性回顾。我们引入了一种分类法，将LLM的角色分为优化器、预测器、提取器和设计器，分析了每个类别中的进展、优势和局限性。我们进一步综合了算法设计流程的三个阶段以及定义当前格局的各种算法应用中的文献。最后，我们概述了关键的开放挑战和机遇，以指导未来的研究。为了支持未来的研究和合作，我们提供了一个配套的存储库：https://github.com/FeiLiu36/LLM4AlgorithmDesign。

🔬 方法详解

问题定义：现有算法设计方法在自动化和创新方面存在局限性，尤其是在面对复杂问题时。缺乏对大型语言模型（LLMs）在算法设计中应用的系统性理解，阻碍了该领域的发展。现有的综述研究要么过于关注特定子领域，要么目标与本文不同，无法提供全面的视角。

核心思路：本文的核心思路是对LLM在算法设计中的应用进行系统性的分类和分析，从而为研究人员提供一个全面的理解框架。通过将LLM的角色划分为优化器、预测器、提取器和设计器，可以更清晰地了解LLM在算法设计中的不同作用和潜力。

技术框架：该综述的技术框架主要包括三个部分：首先，对LLM在算法设计中的角色进行分类；其次，综合分析算法设计流程的三个阶段（问题定义、算法设计、算法实现）中LLM的应用；最后，总结不同算法应用领域（如组合优化、科学发现）中LLM的进展。

关键创新：该综述的关键创新在于提出了一个系统性的分类框架，将LLM在算法设计中的角色划分为优化器、预测器、提取器和设计器。这种分类方法有助于研究人员更好地理解LLM在算法设计中的不同作用和潜力，并为未来的研究方向提供了指导。

关键设计：该综述的关键设计在于对算法设计流程的三个阶段进行了综合分析，并涵盖了多种算法应用领域。通过对不同阶段和领域的文献进行梳理和总结，可以更全面地了解LLM在算法设计中的应用现状和未来发展趋势。此外，论文还提供了一个开源代码仓库，方便研究人员进行进一步的研究和实验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述论文系统性地总结了LLM在算法设计领域的应用，并提出了一个分类框架，将LLM的角色划分为优化器、预测器、提取器和设计器。通过对不同角色和应用场景的分析，为研究人员提供了一个全面的理解框架，并指出了未来的研究方向。该综述还提供了一个开源代码仓库，方便研究人员进行进一步的研究和实验。

🎯 应用场景

该研究成果可应用于多个领域，包括但不限于：组合优化、科学发现、软件工程等。通过利用LLM进行算法设计，可以提高问题解决的效率和创新性，加速相关领域的发展。未来的影响包括更智能的自动化算法设计工具，以及在复杂问题求解中实现突破。

📄 摘要（原文）

Algorithm design is crucial for effective problem-solving across various domains. The advent of Large Language Models (LLMs) has notably enhanced the automation and innovation within this field, offering new perspectives and promising solutions. In just a few years, this integration has yielded remarkable progress in areas ranging from combinatorial optimization to scientific discovery. Despite this rapid expansion, a holistic understanding of the field is hindered by the lack of a systematic review, as existing surveys either remain limited to narrow sub-fields or with different objectives. This paper seeks to provide a systematic review of algorithm design with LLMs. We introduce a taxonomy that categorises the roles of LLMs as optimizers, predictors, extractors and designers, analyzing the progress, advantages, and limitations within each category. We further synthesize literature across the three phases of the algorithm design pipeline and across diverse algorithmic applications that define the current landscape. Finally, we outline key open challenges and opportunities to guide future research. To support future research and collaboration, we provide an accompanying repository at: https://github.com/FeiLiu36/LLM4AlgorithmDesign.