Solving General Natural-Language-Description Optimization Problems with Large Language Models

📄 arXiv: 2407.07924v1 📥 PDF

作者: Jihai Zhang, Wei Wang, Siyan Guo, Li Wang, Fangquan Lin, Cheng Yang, Wotao Yin

分类: math.OC, cs.AI, cs.CL, cs.LG

发布日期: 2024-07-09

💡 一句话要点

OptLLM：利用大语言模型解决通用自然语言描述的优化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 优化问题 自然语言处理 数学建模 代码生成 外部求解器 多轮对话

📋 核心要点

  1. 现有优化问题求解需要专业知识和编程能力，对非专业人士构成挑战，限制了优化技术的广泛应用。
  2. OptLLM框架通过将自然语言描述的优化问题转化为数学公式和代码，并调用外部求解器，降低了优化问题求解的门槛。
  3. 实验表明，OptLLM可以与多种LLM配合使用，并且通过微调，Qwen模型在优化问题求解的准确率上获得了显著提升。

📝 摘要（中文）

优化问题旨在寻找满足一系列约束条件下的目标最优解，并在实际应用中被广泛研究。在特定领域建模和解决优化问题通常需要领域知识、数学技能和编程能力，这对于普通用户甚至领域专家来说都具有挑战性。本文提出了一个名为OptLLM的新框架，该框架利用外部求解器增强大语言模型（LLM）的能力。具体来说，OptLLM接受自然语言的用户查询，将其转换为数学公式和编程代码，并调用求解器来计算决策结果。此外，OptLLM支持多轮对话，以逐步完善优化问题的建模和求解。为了说明OptLLM的有效性，我们提供了三个典型优化应用的教程，并使用大规模自研优化数据集对基于提示的GPT模型和微调的Qwen模型进行了实验。实验结果表明，OptLLM可以与各种LLM配合使用，并且微调模型相比于基于提示的模型实现了准确率的提升。OptLLM框架的部分功能已于2023年6月开始试用。

🔬 方法详解

问题定义：论文旨在解决通用自然语言描述的优化问题，即用户可以使用自然语言描述优化目标和约束条件，而无需具备专业的数学建模和编程知识。现有方法通常需要人工将自然语言描述转化为数学模型和代码，这既耗时又容易出错，并且需要专业人员的参与。

核心思路：论文的核心思路是利用大语言模型（LLM）的自然语言理解和代码生成能力，自动将用户输入的自然语言描述转化为数学公式和编程代码，然后调用外部求解器进行求解。这样可以将优化问题的求解过程自动化，降低了用户的使用门槛。

技术框架：OptLLM框架主要包含以下几个模块：1) 自然语言理解模块：负责解析用户输入的自然语言描述，提取优化目标、约束条件等信息。2) 数学建模模块：将提取的信息转化为数学公式。3) 代码生成模块：根据数学公式生成可执行的编程代码，用于调用外部求解器。4) 求解器调用模块：调用外部求解器，求解优化问题。5) 结果解释模块：将求解结果转化为自然语言，方便用户理解。整个流程支持多轮对话，允许用户逐步完善问题描述和约束条件。

关键创新：OptLLM的关键创新在于将大语言模型与外部求解器相结合，实现了自然语言描述的优化问题的自动化求解。与现有方法相比，OptLLM无需人工干预，降低了使用门槛，提高了求解效率。

关键设计：论文中没有详细描述具体的参数设置、损失函数、网络结构等技术细节。但是，可以推断，自然语言理解模块可能使用了某种形式的语义解析技术，代码生成模块可能使用了基于模板的代码生成方法。此外，如何选择合适的外部求解器也是一个关键的设计问题，需要根据具体的优化问题类型进行选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OptLLM可以与多种LLM配合使用，并且通过微调Qwen模型，在优化问题求解的准确率上获得了显著提升。具体来说，微调后的Qwen模型在自研的大规模优化数据集上取得了比基于prompt的GPT模型更高的准确率，证明了OptLLM框架的有效性。

🎯 应用场景

OptLLM具有广泛的应用前景，例如供应链优化、资源分配、金融投资组合优化等。它可以帮助非专业人士快速解决实际问题，提高决策效率。未来，OptLLM可以进一步扩展到更多领域，并与其他AI技术相结合，例如强化学习、自动机器学习等，实现更智能化的优化问题求解。

📄 摘要（原文）

Optimization problems seek to find the best solution to an objective under a set of constraints, and have been widely investigated in real-world applications. Modeling and solving optimization problems in a specific domain typically require a combination of domain knowledge, mathematical skills, and programming ability, making it difficult for general users and even domain professionals. In this paper, we propose a novel framework called OptLLM that augments LLMs with external solvers. Specifically, OptLLM accepts user queries in natural language, convert them into mathematical formulations and programming codes, and calls the solvers to calculate the results for decision-making. In addition, OptLLM supports multi-round dialogues to gradually refine the modeling and solving of optimization problems. To illustrate the effectiveness of OptLLM, we provide tutorials on three typical optimization applications and conduct experiments on both prompt-based GPT models and a fine-tuned Qwen model using a large-scale selfdeveloped optimization dataset. Experimental results show that OptLLM works with various LLMs, and the fine-tuned model achieves an accuracy boost compared to the promptbased models. Some features of OptLLM framework have been available for trial since June 2023 (https://opt.alibabacloud.com/chat or https://opt.aliyun.com/chat).