Dynamic Policy Induction for Adaptive Prompt Optimization: Bridging the Efficiency-Accuracy Gap via Lightweight Reinforcement Learning

📄 arXiv: 2509.25267v1 📥 PDF

作者: Jiexi Xu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-09-28

备注: 13 pages, 2 figures, 2 tables

💡 一句话要点

提出Prompt Policy Network，通过轻量级强化学习自适应优化LLM Prompt策略，提升效率并保持精度。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Prompt优化 强化学习 大型语言模型 自适应策略 效率优化

📋 核心要点

  1. 现有LLM Prompt策略（如CoT、Self-Consistency）在效率和精度间存在固定权衡，高精度策略在简单任务上浪费计算资源。
  2. 论文提出Prompt Policy Network (PPN)，利用轻量级强化学习框架，将Prompt策略选择建模为单步马尔可夫决策过程。
  3. 实验表明，PPN在算术推理任务上，相比Self-Consistency，token成本降低高达61.5%，同时保持了相当的准确率。

📝 摘要（中文）

大型语言模型（LLM）的性能高度依赖于所选择的Prompt策略，但诸如Zero-Shot、Few-Shot或Chain-of-Thought (CoT)等静态方法在效率和准确性之间存在固定的权衡。像Self-Consistency (SC) 这样高精度的策略在简单任务上会产生大量的计算浪费，而轻量级方法在复杂输入上往往会失败。本文提出Prompt Policy Network (PPN)，这是一个轻量级的强化学习框架，它将自适应策略选择形式化为单步马尔可夫决策过程（MDP）。PPN使用近端策略优化（PPO）进行训练，并由资源显式的奖励函数引导，学习仅在必要时分配昂贵的推理策略。在算术推理基准上的实验表明，PPN在效率-准确性帕累托前沿上实现了卓越的性能，与Self-Consistency相比，token成本降低高达61.5%，同时保持了具有竞争力的准确性。这项工作贡献了一个系统的、自适应的框架，用于经济高效的LLM部署，从而推进了轻量级优化技术的设计，以实现可扩展和可持续的语言模型应用。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在不同复杂程度任务中，prompt策略选择的效率-精度权衡问题。现有方法，如Zero-Shot、Few-Shot、CoT和Self-Consistency等，要么效率低（高精度策略在简单任务上浪费计算），要么精度低（轻量级方法在复杂任务上失效）。

核心思路：论文的核心思路是利用强化学习训练一个轻量级的策略网络（Prompt Policy Network, PPN），使其能够根据输入任务的特点，自适应地选择合适的prompt策略。这样可以在保证精度的前提下，尽可能地降低计算成本。

技术框架：PPN将prompt策略选择建模为一个单步马尔可夫决策过程（MDP）。状态是输入任务的特征，动作是选择不同的prompt策略（例如，Zero-Shot、CoT、Self-Consistency等），奖励函数是基于资源消耗（token数量）和任务完成情况（正确率）设计的。PPN使用近端策略优化（PPO）算法进行训练。整体流程是：输入任务 -> PPN选择prompt策略 -> LLM执行prompt策略并生成结果 -> 计算奖励 -> PPN更新。

关键创新：关键创新在于将prompt策略选择问题形式化为一个可学习的决策过程，并利用强化学习自动优化prompt策略。与传统的静态prompt策略相比，PPN能够根据任务的复杂程度动态调整prompt策略，从而在效率和精度之间取得更好的平衡。

关键设计：奖励函数的设计是关键。论文使用了一个资源显式的奖励函数，该函数同时考虑了token消耗和任务完成情况。具体来说，奖励函数可能包含一个负的token消耗项（鼓励选择更高效的策略）和一个正的任务完成项（鼓励选择更准确的策略）。PPO算法中的超参数（例如，学习率、折扣因子、裁剪参数等）也需要仔细调整，以保证训练的稳定性和收敛性。

📊 实验亮点

实验结果表明，PPN在算术推理基准上实现了显著的性能提升。与Self-Consistency相比，PPN在保持相当准确率的同时，token成本降低高达61.5%。这表明PPN能够有效地学习到在不同任务上选择最优prompt策略的能力，从而在效率和精度之间取得更好的平衡。

🎯 应用场景

该研究成果可应用于各种需要使用大型语言模型的场景，例如智能客服、机器翻译、文本摘要、代码生成等。通过自适应地选择prompt策略，可以显著降低LLM的部署成本，提高其在资源受限环境下的可用性，并促进LLM的可持续发展。

📄 摘要（原文）

The performance of Large Language Models (LLMs) depends heavily on the chosen prompting strategy, yet static approaches such as Zero-Shot, Few-Shot, or Chain-of-Thought (CoT) impose a rigid efficiency-accuracy trade-off. Highly accurate strategies like Self-Consistency (SC) incur substantial computational waste on simple tasks, while lightweight methods often fail on complex inputs. This paper introduces the Prompt Policy Network (PPN), a lightweight reinforcement learning framework that formalizes adaptive strategy selection as a single-step Markov Decision Process (MDP). The PPN, trained with Proximal Policy Optimization (PPO) and guided by a resource-explicit reward function, learns to allocate costly reasoning strategies only when necessary. Experiments on arithmetic reasoning benchmarks demonstrate that PPN achieves superior performance on the efficiency-accuracy Pareto front, delivering up to 61.5% token cost reduction compared to Self-Consistency while maintaining competitive accuracy. This work contributes a systematic, adaptive framework for cost-efficient LLM deployment, advancing the design of lightweight optimization techniques for scalable and sustainable language model applications.