Are Longer Prompts Always Better? Prompt Selection in Large Language Models for Recommendation Systems

📄 arXiv: 2412.14454v1 📥 PDF

作者: Genki Kusano, Kosuke Akimoto, Kunihiro Takeoka

分类: cs.IR, cs.CL

发布日期: 2024-12-19

备注: 15 pages

💡 一句话要点

针对LLM推荐系统，提出基于数据集特征的Prompt选择方法，提升推荐准确率和效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM推荐系统 Prompt选择 数据集特征 冷启动 跨领域推荐

📋 核心要点

  1. 现有LLM推荐系统缺乏明确的Prompt选择指南，导致在不同数据集上表现不稳定，影响推荐效果。
  2. 论文提出一种基于数据集特征的Prompt选择方法，通过分析Prompt与数据集特性的关系，实现更精准的推荐。
  3. 实验表明，该方法在保证推荐准确率的同时，显著降低了Prompt探索成本，提升了LLM推荐系统的效率。

📝 摘要（中文）

在大语言模型（LLM）推荐系统（LLM-RS）中，无需大量训练数据，即可利用LLM的通用知识准确预测用户偏好。通过将推荐任务转换为自然语言输入（即Prompt），LLM-RS能够有效解决因数据稀缺而难以解决的问题，这在冷启动和跨领域等应用中至关重要。然而，在实践中，选择与任务和数据相匹配的Prompt至关重要。尽管LLM-RS中已经提出了许多Prompt，并且在Prompt中表示目标用户对推荐准确性有显著影响，但仍然缺乏选择特定Prompt的明确指南。本文对以往研究中的Prompt进行分类和分析，以建立实用的Prompt选择指南。通过对90个Prompt和五个真实世界数据集进行450次实验，我们研究了推荐准确性中Prompt和数据集特征之间的关系。我们发现没有一个Prompt始终优于其他Prompt；因此，基于数据集特征选择Prompt至关重要。在此，我们提出了一种Prompt选择方法，该方法以最少的验证数据实现了更高的准确性。由于增加要探索的Prompt数量会增加成本，因此我们还引入了一种使用高性能且具有成本效益的LLM的经济高效的策略，从而在保持高预测准确性的同时显着降低了探索成本。我们的工作为Prompt选择提供了宝贵的见解，从而推进了准确高效的LLM-RS。

🔬 方法详解

问题定义：现有基于LLM的推荐系统依赖于将推荐任务转化为自然语言Prompt，但缺乏系统性的Prompt选择方法。不同的Prompt在不同的数据集上表现差异很大，导致难以选择最优Prompt，影响推荐系统的性能。现有方法通常依赖于人工经验或大量的实验，效率低下且缺乏通用性。

核心思路：论文的核心思路是根据数据集的特征来选择合适的Prompt。作者通过分析不同Prompt的特点以及它们在不同数据集上的表现，发现Prompt的有效性与数据集的特性密切相关。因此，可以通过分析数据集的特征，预测不同Prompt的性能，从而选择最优的Prompt。

技术框架：论文提出的Prompt选择方法主要包含以下几个阶段：1) Prompt分类：对现有的Prompt进行分类，提取关键特征。2) 数据集特征提取：提取数据集的统计特征，例如用户数量、物品数量、交互密度等。3) Prompt-数据集关系建模：建立Prompt特征和数据集特征之间的关系模型，预测不同Prompt在特定数据集上的性能。4) Prompt选择：根据关系模型的预测结果，选择最优的Prompt。

关键创新：论文的关键创新在于提出了基于数据集特征的Prompt选择方法，避免了人工经验和大量实验，提高了Prompt选择的效率和准确性。此外，论文还提出了一种使用高性能且具有成本效益的LLM的经济高效的策略，从而在保持高预测准确性的同时显着降低了探索成本。

关键设计：论文的关键设计包括：1) Prompt特征的提取方法，例如Prompt的长度、复杂度、包含的信息类型等。2) 数据集特征的提取方法，例如用户数量、物品数量、交互密度、数据分布等。3) Prompt-数据集关系模型的选择，例如线性回归、决策树、神经网络等。4) 经济高效的Prompt探索策略，例如使用小规模数据集进行初步筛选，然后使用大规模数据集进行精细调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在五个真实世界数据集上进行450次实验，验证了所提出的Prompt选择方法的有效性。实验结果表明，该方法能够根据数据集特征选择合适的Prompt，显著提升推荐准确率，并降低Prompt探索成本。此外，论文还提出了一种使用高性能且具有成本效益的LLM的经济高效的策略，从而在保持高预测准确性的同时显着降低了探索成本。

🎯 应用场景

该研究成果可应用于各种基于LLM的推荐系统，尤其是在冷启动、跨领域推荐等数据稀疏场景下。通过自动选择合适的Prompt，可以提升推荐系统的准确性和效率，改善用户体验，并降低运营成本。该方法还可推广到其他自然语言处理任务中，例如文本分类、情感分析等。

📄 摘要（原文）

In large language models (LLM)-based recommendation systems (LLM-RSs), accurately predicting user preferences by leveraging the general knowledge of LLMs is possible without requiring extensive training data. By converting recommendation tasks into natural language inputs called prompts, LLM-RSs can efficiently solve issues that have been difficult to address due to data scarcity but are crucial in applications such as cold-start and cross-domain problems. However, when applying this in practice, selecting the prompt that matches tasks and data is essential. Although numerous prompts have been proposed in LLM-RSs and representing the target user in prompts significantly impacts recommendation accuracy, there are still no clear guidelines for selecting specific prompts. In this paper, we categorize and analyze prompts from previous research to establish practical prompt selection guidelines. Through 450 experiments with 90 prompts and five real-world datasets, we examined the relationship between prompts and dataset characteristics in recommendation accuracy. We found that no single prompt consistently outperforms others; thus, selecting prompts on the basis of dataset characteristics is crucial. Here, we propose a prompt selection method that achieves higher accuracy with minimal validation data. Because increasing the number of prompts to explore raises costs, we also introduce a cost-efficient strategy using high-performance and cost-efficient LLMs, significantly reducing exploration costs while maintaining high prediction accuracy. Our work offers valuable insights into the prompt selection, advancing accurate and efficient LLM-RSs.