Context Steering: Controllable Personalization at Inference Time

📄 arXiv: 2405.01768v3 📥 PDF

作者: Jerry Zhi-Yang He, Sashrika Pandey, Mariah L. Schrum, Anca Dragan

分类: cs.CL, cs.AI

发布日期: 2024-05-02 (更新: 2025-02-06)

💡 一句话要点

提出Context Steering，一种无需训练的推理时上下文可控个性化方法。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文学习 个性化推荐 大型语言模型 推理时控制 贝叶斯生成模型

📋 核心要点

  1. 现有方法如prompt工程和微调，依赖大量上下文相关的训练数据，缺乏灵活性且耗时。
  2. Context Steering (CoS) 通过比较有无上下文的LLM输出概率，线性缩放上下文影响，实现推理时可控的个性化。
  3. 实验表明CoS在个性化推荐任务上表现出色，并可作为贝叶斯生成模型推断文本相关性。

📝 摘要（中文）

为了提供高质量的个性化回复，大型语言模型（LLM）必须有效地整合上下文信息——即特定于最终用户的个人、人口统计和文化信息。例如，要求模型用“我是一个蹒跚学步的孩子”的上下文解释牛顿第二定律，应该产生与上下文为“我是一名物理学教授”时不同的回复。然而，在实践中利用上下文是一项微妙而具有挑战性的任务，并且通常取决于具体情况或用户群。模型必须在提供具体的个性化回复和保持普遍适用性之间取得平衡。当前的解决方案，如提示工程和微调，需要收集上下文相关的回复作为示例，这使得它们耗时且在不同上下文中使用时不够灵活。在这项工作中，我们介绍Context Steering（CoS）——一种简单的、无需训练的解码方法，可以放大上下文中下一个token预测的影响。CoS通过比较来自两个LLM前向传递的输出概率来计算上下文影响：一个包含上下文，一个不包含上下文。通过线性缩放上下文影响，CoS允许从业者灵活地控制不同用例的个性化程度。我们表明，CoS可以应用于自回归LLM，并在个性化推荐中表现出强大的性能。此外，我们表明CoS可以作为贝叶斯生成模型来推断和量化开放文本之间的相关性，从而拓宽其潜在应用。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在推理时如何有效且灵活地融入用户上下文信息，以实现个性化响应的问题。现有方法，如prompt工程和微调，需要大量特定上下文的训练数据，成本高昂且泛化能力有限。这些方法难以适应快速变化的用户需求和多样化的应用场景。

核心思路：Context Steering (CoS) 的核心思路是通过比较LLM在有无上下文信息时的输出概率差异，来量化上下文对模型预测的影响。然后，通过线性缩放这个影响，可以灵活地控制模型对上下文的敏感程度，从而实现可控的个性化。这种方法无需额外的训练，可以在推理阶段直接应用。

技术框架：CoS的技术框架主要包含以下步骤：1. 输入包含上下文信息的提示（prompt）到LLM中，得到输出概率分布P(with context)。2. 输入不包含上下文信息的提示到LLM中，得到输出概率分布P(without context)。3. 计算上下文影响：Contextual Influence = P(with context) - P(without context)。4. 通过线性缩放因子α调整上下文影响：Scaled Influence = α * Contextual Influence。5. 将缩放后的影响加回到原始概率分布：Final Probability = P(without context) + Scaled Influence。6. 根据Final Probability选择下一个token。

关键创新：CoS的关键创新在于提出了一种无需训练的、在推理时可控地融入上下文信息的方法。与传统的prompt工程和微调相比，CoS更加灵活，可以快速适应不同的用户上下文和应用场景。此外，CoS还可以作为一种贝叶斯生成模型，用于推断和量化文本之间的相关性。

关键设计：CoS的关键设计在于线性缩放因子α。α控制了上下文信息对模型预测的影响程度。当α=0时，模型忽略上下文信息；当α=1时，模型完全依赖上下文信息。通过调整α，可以实现不同程度的个性化。论文中没有提及特定的损失函数或网络结构，因为CoS是一种解码方法，可以应用于任何自回归LLM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文实验表明，Context Steering (CoS) 在个性化推荐任务上表现出强大的性能，无需任何训练即可实现显著的个性化效果。此外，CoS还可以作为贝叶斯生成模型，用于推断和量化开放文本之间的相关性，为文本分析提供了新的思路。具体的性能数据和对比基线在摘要中未提供。

🎯 应用场景

Context Steering (CoS) 具有广泛的应用前景，包括个性化推荐系统、智能客服、教育辅导等。它可以根据用户的个人信息、兴趣偏好和文化背景，生成更加贴合用户需求的回复。此外，CoS还可以用于分析文本之间的语义关系，例如判断两篇文章是否属于同一主题，或者评估一篇文章的观点是否与另一篇文章一致。未来，CoS有望成为一种通用的个性化自然语言处理工具。

📄 摘要（原文）

To deliver high-quality, personalized responses, large language models (LLMs) must effectively incorporate context -- personal, demographic, and cultural information specific to an end-user. For example, asking the model to explain Newton's second law with the context "I am a toddler" should produce a response different from when the context is "I am a physics professor". However, leveraging the context in practice is a nuanced and challenging task, and is often dependent on the specific situation or user base. The model must strike a balance between providing specific, personalized responses and maintaining general applicability. Current solutions, such as prompt-engineering and fine-tuning, require collection of contextually appropriate responses as examples, making them time-consuming and less flexible to use across different contexts. In this work, we introduce Context Steering (CoS) -- a simple, training-free decoding approach that amplifies the influence of the context in next token predictions. CoS computes contextual influence by comparing the output probabilities from two LLM forward passes: one that includes the context and one that does not. By linearly scaling the contextual influence, CoS allows practitioners to flexibly control the degree of personalization for different use cases. We show that CoS can be applied to autoregressive LLMs, and demonstrates strong performance in personalized recommendations. Additionally, we show that CoS can function as a Bayesian Generative model to infer and quantify correlations between open-ended texts, broadening its potential applications.