Agentic-Priors: Using Large Language Models to Address the Cold Start Problem in Preference Elicitation
作者: Bruno Arcanjo, Zhaoxing Li, Sebastian Stein
分类: cs.MA, cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出Agentic-Priors以解决偏好引导中的冷启动问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 冷启动问题 偏好学习 大型语言模型 贝叶斯学习 个性化推荐 用户体验 多项式逻辑回归
📋 核心要点
- 现有的偏好学习方法在用户选择未被观察之前，无法有效利用先验知识，导致冷启动问题。
- 本文提出的Agentic-Priors利用大型语言模型的隐含知识，生成可解释的用户偏好表述，从而改善冷启动效果。
- 实验结果显示，Agentic-Priors在七个数据集上提高了5-40个百分点的准确性，并在多个基准测试中优于现有方法。
📝 摘要（中文）
在偏好学习中，代理系统面临冷启动问题：在观察到用户选择之前，必须依赖先验知识。通常，信息丰富的先验是基于历史选择数据拟合的，但新任务和部署缺乏这些数据。为了解决这一问题，本文提出了Agentic-Priors，使代理系统能够利用大型语言模型（LLMs）的隐含知识。具体而言，LLM以可解释的术语表述新用户的权衡，例如支付意愿或时间价值，并将其映射到多项式逻辑回归系数的先验上。随着选择的观察，该先验由贝叶斯学习者进行细化。在七个选择数据集上，Agentic-Priors在冷启动准确性上比无信息先验提高了5-40个百分点，并在三个数据集上超越了最先进的LLM先验引导方法AutoElicit。
🔬 方法详解
问题定义：本文旨在解决偏好学习中的冷启动问题，即在没有用户选择数据的情况下，如何有效地推断用户的偏好。现有方法依赖于历史数据进行先验拟合，但新任务往往缺乏这些数据，导致性能下降。
核心思路：提出Agentic-Priors，通过大型语言模型提取用户的隐含偏好信息，以可解释的方式表达用户的权衡，如支付意愿或时间价值。这种方法使得代理系统能够在缺乏历史数据的情况下，依然能够进行有效的偏好推断。
技术框架：整体架构包括两个主要模块：首先，利用LLM生成用户的偏好表述；其次，使用贝叶斯学习者在观察到用户选择后对先验进行细化。整个流程从用户输入开始，经过LLM处理，最终输出更新的偏好模型。
关键创新：最重要的创新在于将大型语言模型的隐含知识与偏好学习结合，形成了一种新的先验生成机制。这与传统方法依赖历史数据的方式有本质区别，能够在冷启动阶段提供更为准确的偏好推断。
关键设计：在参数设置上，模型通过多项式逻辑回归系数进行映射，损失函数采用贝叶斯推断方法，确保在观察到用户选择后能够有效更新先验。网络结构上，LLM的选择和训练策略对最终性能有重要影响。具体的参数设置和网络结构细节在实验部分进行了详细讨论。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Agentic-Priors在七个选择数据集上提高了5-40个百分点的冷启动准确性，超越了AutoElicit方法，并在与上下文学习的比较中，准确性提升幅度可达18个百分点。这些结果表明，该方法在用户偏好引导中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括个性化推荐系统、在线广告投放和用户体验优化等。通过有效解决冷启动问题，Agentic-Priors能够帮助企业在新用户初次接触时，快速准确地推断其偏好，从而提升用户满意度和转化率。未来，该方法有望在更多需要用户偏好建模的场景中得到应用。
📄 摘要（原文）
An agent that learns a user's preferences from their choices faces a cold start problem: before any choices are observed, it must rely solely on a prior. Informative priors are usually fitted to historical choice data, which new tasks and deployments lack. To address this, we present Agentic-Priors, which lets agentic systems use the implicit knowledge of large language models (LLMs) instead. Specifically, an LLM states a new user's trade-offs in interpretable terms, such as willingness to pay or value of time, which we map to a prior over multinomial logit coefficients. This prior is then refined by a Bayesian learner as choices are observed. Across seven choice datasets, Agentic-Priors improves cold start accuracy over an uninformed prior by 5-40 percentage points. It also outperforms AutoElicit, a state-of-the-art LLM prior-elicitation method, on three datasets and loses on one. It is up to 18 points more accurate than in-context learning, and never significantly worse. Against hierarchical Bayes models fitted to surveys of increasing size, our approach is worth roughly 6-40 surveyed users, in terms of log-loss, so its value is concentrated in a deployment's first users.