Metaheuristics and Large Language Models Join Forces: Toward an Integrated Optimization Approach
作者: Camilo Chacón Sartori, Christian Blum, Filippo Bistaffa, Guillem Rodríguez Corominas
分类: cs.AI
发布日期: 2024-05-28 (更新: 2025-02-12)
期刊: IEEE Access, vol. 13, pp. 2058-2079, 2025
DOI: 10.1109/ACCESS.2024.3524176
🔗 代码/项目: GITHUB
💡 一句话要点
利用大型语言模型进行模式识别，提升元启发式算法在社交网络优化中的性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 元启发式算法 大型语言模型 组合优化 社交网络 模式识别 提示工程 知识提取
📋 核心要点
- 现有元启发式算法在复杂组合优化问题中面临挑战，难以有效利用问题内在的模式和知识。
- 该方法利用大型语言模型强大的模式识别能力，从问题实例中提取有用的信息，辅助元启发式算法的决策。
- 实验表明，该混合方法在社交网络优化问题上优于现有方法，证明了LLM在提升元启发式算法性能方面的潜力。
📝 摘要（中文）
本文提出了一种新颖的方法，利用大型语言模型（LLMs）作为模式识别工具来改进元启发式算法（MHs）。该混合方法在基于社交网络的组合优化问题中进行了测试，在获得的解决方案质量方面优于现有的将机器学习与MHs相结合的先进方法。通过精心设计的提示，证明了从LLMs获得的输出可以用作问题知识，从而改进结果。最后，承认LLMs的潜在缺点和局限性，并认为必须对其进行检查，以进一步推进此类研究。该方法可以通过提供的工具重现。
🔬 方法详解
问题定义：论文旨在解决社交网络中的组合优化问题，现有方法，特别是结合机器学习的元启发式算法，在利用问题内在模式和知识方面存在不足，导致优化效果受限。
核心思路：核心思路是利用大型语言模型（LLMs）强大的模式识别能力，将LLMs作为一种知识提取和模式识别工具，从问题实例中提取有用的信息，并将其融入到元启发式算法的搜索过程中，从而指导算法的决策，提升优化效果。
技术框架：整体框架包含以下几个主要阶段：1) 问题实例输入；2) 通过精心设计的提示（prompts）将问题实例输入到LLM中；3) LLM对问题实例进行分析，提取潜在的模式和知识；4) 将LLM的输出作为问题知识，融入到元启发式算法的搜索过程中；5) 元启发式算法利用这些知识进行优化，得到最终的解决方案。
关键创新：最重要的技术创新点在于将大型语言模型（LLMs）引入到元启发式算法中，并将其作为一种模式识别和知识提取工具。与现有方法相比，该方法能够更有效地利用问题内在的模式和知识，从而提升优化效果。
关键设计：关键设计在于提示工程（prompt engineering），即如何设计合适的提示，使得LLM能够有效地提取问题相关的知识。此外，如何将LLM的输出有效地融入到元启发式算法的搜索过程中也是一个关键的设计点。论文中具体使用的元启发式算法和社交网络优化问题的具体形式（例如目标函数、约束条件等）是需要根据具体问题进行设计的。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该混合方法在社交网络优化问题上优于现有的将机器学习与元启发式算法相结合的先进方法。具体性能数据和提升幅度在论文中进行了详细的展示，证明了LLM在提升元启发式算法性能方面的有效性。
🎯 应用场景
该研究具有广泛的应用前景，可应用于各种组合优化问题，例如：物流优化、资源调度、网络设计等。通过利用大型语言模型的模式识别能力，可以提升这些问题的求解效率和质量。未来，该方法可以进一步扩展到其他领域，例如：机器人路径规划、自动驾驶等。
📄 摘要（原文）
Since the rise of Large Language Models (LLMs) a couple of years ago, researchers in metaheuristics (MHs) have wondered how to use their power in a beneficial way within their algorithms. This paper introduces a novel approach that leverages LLMs as pattern recognition tools to improve MHs. The resulting hybrid method, tested in the context of a social network-based combinatorial optimization problem, outperforms existing state-of-the-art approaches that combine machine learning with MHs regarding the obtained solution quality. By carefully designing prompts, we demonstrate that the output obtained from LLMs can be used as problem knowledge, leading to improved results. Lastly, we acknowledge LLMs' potential drawbacks and limitations and consider it essential to examine them to advance this type of research further. Our method can be reproduced using a tool available at: https://github.com/camilochs/optipattern.