Combinatorial Optimization for All: Using LLMs to Aid Non-Experts in Improving Optimization Algorithms
作者: Camilo Chacón Sartori, Christian Blum
分类: cs.AI, cs.CL, cs.LG, cs.SE
发布日期: 2025-03-14 (更新: 2025-07-18)
💡 一句话要点
利用大型语言模型辅助非专家改进组合优化算法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 组合优化 算法改进 旅行商问题 提示工程
📋 核心要点
- 现有优化算法改进需要专业知识，非专家难以参与，限制了算法的广泛应用和持续优化。
- 利用大型语言模型，通过简单的提示工程，在无需专业知识的情况下，改进现有优化算法的性能。
- 实验表明，LLM生成的算法变体在旅行商问题上，能够提升解的质量，缩短计算时间，并简化代码复杂度。
📝 摘要（中文）
大型语言模型(LLMs)在优化算法的代码生成方面展现出显著潜力，开启了令人兴奋的新机遇。本文探讨了LLMs如何在不需要专业知识的情况下改进现有算法，而不是从头开始创建算法。为了探索这种潜力，我们选择了来自不同领域的10种基线优化算法（元启发式算法、强化学习、确定性方法和精确方法）来解决经典的旅行商问题。结果表明，我们简单的方法通常会产生由LLM生成的算法变体，这些变体在解决方案质量、计算时间减少和代码复杂性简化方面优于基线算法，所有这些都不需要专门的优化知识或高级算法实现技能。
🔬 方法详解
问题定义：论文旨在解决非优化领域专家难以改进现有优化算法的问题。现有方法通常需要深入的优化理论知识和算法实现技巧，这使得非专家难以参与到算法的改进和优化过程中，阻碍了优化算法的广泛应用和进一步发展。
核心思路：论文的核心思路是利用大型语言模型（LLMs）的代码生成和理解能力，通过简单的提示工程，让LLMs在现有算法的基础上进行修改和改进，从而在不需要专业优化知识的情况下，提升算法的性能。这种方法旨在降低优化算法改进的门槛，使更多的人能够参与到算法的优化过程中。
技术框架：该方法主要包含以下几个步骤：1) 选择一个基线优化算法；2) 设计合适的提示语，引导LLM对基线算法进行修改和改进；3) 使用LLM生成新的算法变体；4) 在特定问题（如旅行商问题）上测试和评估算法变体的性能；5) 根据实验结果，调整提示语，迭代优化算法变体。整个流程无需人工干预，完全由LLM自动完成。
关键创新：该论文的关键创新在于利用LLMs来辅助非专家改进优化算法。与传统的优化算法改进方法相比，该方法不需要专业的优化知识和算法实现技巧，降低了算法改进的门槛。此外，该方法还可以自动生成多种算法变体，并根据实验结果进行迭代优化，从而加速算法的改进过程。
关键设计：论文中关键的设计包括：1) 提示语的设计，需要清晰地表达算法改进的目标和方向；2) LLM的选择，需要选择具有较强的代码生成和理解能力的LLM；3) 实验评估指标的选择，需要选择能够全面反映算法性能的指标，如解的质量、计算时间和代码复杂度等。具体的参数设置和网络结构取决于所使用的LLM。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过LLM生成的算法变体，在解决旅行商问题时，通常能够超越基线算法的性能。具体而言，在解的质量、计算时间和代码复杂度方面均有不同程度的提升。例如，某些LLM生成的算法变体能够显著降低计算时间，同时保持或提高解的质量，并且代码复杂度也得到了简化。
🎯 应用场景
该研究成果可应用于各种组合优化问题，例如车辆路径规划、资源调度、生产计划等。通过利用LLM辅助非专家改进优化算法，可以降低优化算法的应用门槛，提高问题解决效率，并促进相关领域的智能化发展。未来，该方法有望扩展到更复杂的优化问题和更广泛的应用场景。
📄 摘要（原文）
Large Language Models (LLMs) have shown notable potential in code generation for optimization algorithms, unlocking exciting new opportunities. This paper examines how LLMs, rather than creating algorithms from scratch, can improve existing ones without the need for specialized expertise. To explore this potential, we selected 10 baseline optimization algorithms from various domains (metaheuristics, reinforcement learning, deterministic, and exact methods) to solve the classic Travelling Salesman Problem. The results show that our simple methodology often results in LLM-generated algorithm variants that improve over the baseline algorithms in terms of solution quality, reduction in computational time, and simplification of code complexity, all without requiring specialized optimization knowledge or advanced algorithmic implementation skills.