Prompt Optimization with Logged Bandit Data
作者: Haruka Kiyohara, Daniel Yiming Cao, Yuta Saito, Thorsten Joachims
分类: cs.LG, cs.AI, cs.IR, stat.ML
发布日期: 2025-04-03
备注: Preprint
💡 一句话要点
提出基于核函数的离线策略梯度方法，利用用户反馈优化LLM提示，提升个性化语句生成效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 提示优化 离线策略学习 策略梯度 核方法 个性化推荐
📋 核心要点
- 现有方法在提示空间中直接估计策略梯度，面临提示空间大导致的方差问题和奖励预测不准导致的偏差问题。
- 论文提出基于核函数的离线策略梯度方法，利用生成语句的相似性来估计策略梯度，降低方差并抑制偏差。
- 实验结果表明，该方法在电影推荐的个性化描述生成任务中表现出色，尤其是在候选提示数量较多时。
📝 摘要（中文）
本文研究如何利用自然获取的用户反馈（如点击）来优化大型语言模型（LLM）流程，以生成使用提示的个性化语句。直接在提示空间中估计策略梯度的方法，要么因提示的巨大动作空间而产生方差，要么因不准确的奖励预测而产生偏差。为了规避这些挑战，我们提出了一种新颖的基于核的离线策略梯度方法，该方法通过利用生成句子之间的相似性来估计策略梯度，从而在抑制偏差的同时显著降低方差。在我们新建立的基准测试套件上的实验结果表明，所提出的方法在生成电影推荐的个性化描述方面非常有效，尤其是在候选提示数量很大时。
🔬 方法详解
问题定义：论文旨在解决如何利用用户反馈（如点击）优化LLM的提示，从而生成更个性化的语句描述的问题。现有方法，即直接在提示空间中估计策略梯度，存在两个主要痛点：一是提示空间巨大，导致策略梯度估计的方差很高；二是奖励预测模型可能不准确，导致策略梯度估计存在偏差。
核心思路：论文的核心思路是利用生成语句之间的相似性来降低策略梯度估计的方差，并抑制偏差。具体来说，如果两个提示生成的语句非常相似，那么它们的奖励也应该相似。通过引入核函数来度量语句之间的相似性，可以将奖励信息从一个提示“传递”到另一个相似的提示，从而更准确地估计策略梯度。
技术框架：整体框架包括以下几个主要步骤：1）收集用户反馈数据（如点击）；2）使用LLM和不同的提示生成候选语句；3）使用奖励模型预测每个语句的奖励；4）使用基于核函数的离线策略梯度方法估计策略梯度；5）根据策略梯度更新提示。关键在于第四步，即基于核函数的离线策略梯度估计。
关键创新：最重要的技术创新点在于提出了基于核函数的离线策略梯度方法。与传统的策略梯度方法相比，该方法利用了生成语句之间的相似性信息，从而显著降低了策略梯度估计的方差。此外，离线策略学习避免了与环境的直接交互，可以利用已有的用户反馈数据进行学习，更加高效。
关键设计：关键设计包括：1）选择合适的核函数来度量语句之间的相似性。论文中可能使用了例如高斯核或者余弦相似度等核函数。2）设计合适的奖励模型来预测语句的奖励。奖励模型可以是点击率预测模型或者其他与用户满意度相关的模型。3）确定合适的策略梯度更新算法。论文可能使用了例如Adam或者SGD等优化算法。
📊 实验亮点
论文提出的基于核函数的离线策略梯度方法，在个性化电影推荐描述生成任务上取得了显著的性能提升。具体数据未知，但摘要强调了该方法在候选提示数量较大时尤其有效，表明其在高维提示空间中具有良好的泛化能力。该方法有效降低了策略梯度估计的方差，并抑制了偏差，优于传统的策略梯度方法。
🎯 应用场景
该研究成果可广泛应用于个性化推荐系统、内容生成、对话系统等领域。例如，可以利用用户历史行为数据，优化LLM的提示，生成更符合用户兴趣的商品描述、新闻摘要或对话回复。通过提升内容的相关性和吸引力，可以提高用户满意度、点击率和转化率，具有重要的商业价值。
📄 摘要（原文）
We study how to use naturally available user feedback, such as clicks, to optimize large language model (LLM) pipelines for generating personalized sentences using prompts. Naive approaches, which estimate the policy gradient in the prompt space, suffer either from variance caused by the large action space of prompts or bias caused by inaccurate reward predictions. To circumvent these challenges, we propose a novel kernel-based off-policy gradient method, which estimates the policy gradient by leveraging similarity among generated sentences, substantially reducing variance while suppressing the bias. Empirical results on our newly established suite of benchmarks demonstrate the effectiveness of the proposed approach in generating personalized descriptions for movie recommendations, particularly when the number of candidate prompts is large.