LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning

📄 arXiv: 2405.19732v4 📥 PDF

作者: Zixian Guo, Ming Liu, Zhilong Ji, Jinfeng Bai, Yiwen Guo, Wangmeng Zuo

分类: cs.CV, cs.CL, cs.LG

发布日期: 2024-05-30 (更新: 2024-12-04)

🔗 代码/项目: GITHUB

💡 一句话要点

提出LLM辅助梯度下降优化框架，提升Prompt Tuning效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 Prompt Tuning 梯度下降 协同优化 自然语言处理

📋 核心要点

  1. 现有优化方法在解决复杂非凸问题时存在局限，缺乏全局指导。
  2. 利用LLM的推理能力，结合梯度下降的局部优化，构建协同优化框架。
  3. 实验表明，该框架在Prompt Tuning任务上显著提升性能，优于现有方法。

📝 摘要（中文）

本文提出了一种结合梯度下降优化器和大型语言模型（LLM）的互补优化框架。梯度下降优化器作为执行者，进行局部最优更新；LLM则作为导师，通过自然语言指令推断更优解。该框架通过交替使用梯度优化和LLM优化实现协同优化。LLM根据梯度优化阶段的参数轨迹生成改进解，并将其作为下一阶段梯度优化的重启点。在Prompt Tuning上的实验验证了该框架的有效性，结果表明，结合局部梯度优化和LLM的推理能力，该方法在各种任务上均优于现有基线，证明了传统梯度优化与LLM推理能力的协同效应。代码已开源。

🔬 方法详解

问题定义：论文旨在解决Prompt Tuning中的优化问题。现有的Prompt Tuning方法主要依赖于梯度下降等局部优化算法，容易陷入局部最优解，难以找到全局最优的Prompt参数。缺乏一种能够提供全局指导，跳出局部最优解的有效机制。

核心思路：论文的核心思路是将大型语言模型（LLM）的推理能力引入到优化过程中，作为梯度下降优化器的补充。LLM可以根据梯度下降的历史轨迹，推断出可能更优的Prompt参数，从而引导优化器跳出局部最优解。这种思路类似于导师指导学生，LLM提供高层次的指导，梯度下降负责具体执行。

技术框架：该框架由梯度优化阶段和LLM优化阶段交替进行。首先，使用梯度下降优化器进行若干步的Prompt Tuning，并记录参数轨迹。然后，将参数轨迹输入到LLM中，LLM根据自然语言指令生成新的Prompt参数。最后，将LLM生成的Prompt参数作为下一阶段梯度优化的起始点，重复上述过程。

关键创新：该方法最重要的创新点在于将LLM的推理能力与传统的梯度优化方法相结合，形成了一种协同优化框架。与传统的优化方法相比，该方法能够利用LLM的全局推理能力，跳出局部最优解，找到更优的Prompt参数。

关键设计：LLM的输入指令设计是关键。论文使用了自然语言指令，引导LLM根据梯度下降的历史轨迹生成新的Prompt参数。例如，指令可以包含“根据之前的优化轨迹，生成一个可能更好的Prompt”等。此外，如何有效地利用LLM生成的Prompt参数作为梯度优化的起始点也是一个关键设计。论文直接将LLM的输出作为新的起始点，简单有效。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个Prompt Tuning任务上均取得了显著的性能提升。例如，在文本分类任务上，该方法相比于传统的梯度下降优化方法，准确率提升了多个百分点。此外，该方法还能够有效地跳出局部最优解，找到更优的Prompt参数。

🎯 应用场景

该研究成果可应用于各种需要Prompt Tuning的自然语言处理任务，例如文本分类、文本生成、机器翻译等。通过结合LLM的推理能力，可以显著提升Prompt Tuning的效果，从而提高下游任务的性能。该方法具有广泛的应用前景，可以促进自然语言处理技术的发展。

📄 摘要（原文）

Mastering a skill generally relies on both hands-on experience from doers and insightful, high-level guidance by mentors. Will this strategy also work well for solving complex non-convex optimization problems? Here, a common gradient-based optimizer acts like a disciplined doer, making locally optimal updates at each step. Large Language Models (LLMs) can also search for better solutions by inferring from natural language instructions, akin to a high-level mentor. In this paper, we show that these two participators are complementary to each other and can effectively collaborate as a combined optimization framework. The collaborative optimization is achieved by alternating between the gradient-based and LLM-based optimizers. We instruct LLMs to generate possibly improved solutions by taking parameter trajectories recorded during the previous stage of gradient-based optimization into account. Inferred results of LLMs are used as restarting points for the next stage of gradient optimization. We verify the effectiveness of this optimization framework on prompt tuning. By leveraging both the locally rigorous gradient-based optimizer and the high-level deductive LLM-based optimizer, the combined optimization method consistently yields improvements over competitive baselines on a variety of tasks. Our results demonstrate the synergistic effect of conventional gradient-based optimization and the inference ability of LLMs. The code is released at https://github.com/guozix/LLM-catalyst.