PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training

📄 arXiv: 2507.20067v2 📥 PDF

作者: Sarat Chandra Bobbili, Ujwal Dinesha, Dheeraj Narasimha, Srinivas Shakkottai

分类: cs.AI, cs.CL, cs.LG

发布日期: 2025-07-26 (更新: 2025-11-13)

💡 一句话要点

PITA：通过偏好引导的推理时对齐方法，无需奖励模型即可优化LLM

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理时对齐 偏好学习 无奖励模型 后训练 引导策略 token生成

📋 核心要点

  1. 现有推理时对齐方法依赖预训练奖励模型，该模型需要拟合人类偏好，过程不稳定且成本高昂。
  2. PITA通过学习基于偏好的引导策略直接修改LLM的token生成，无需奖励模型和LLM微调。
  3. 实验表明，PITA在数学推理和情感分类等任务中，能有效使LLM输出与用户偏好对齐。

📝 摘要（中文）

推理时对齐技术使大型语言模型（LLM）能够在无需进一步训练的情况下生成符合最终用户偏好的输出。最近的后训练方法通过使用小型引导模型来修改推理过程中的token生成来实现这一点。这些方法通常优化一个奖励函数，并使用原始LLM作为参考策略进行KL正则化。然而，一个关键的限制是它们依赖于预训练的奖励模型，而奖励模型需要拟合人类偏好反馈，这可能是一个不稳定的过程。相比之下，我们引入了PITA，这是一个新颖的框架，它将偏好反馈直接集成到LLM的token生成中，从而消除了对奖励模型的需求。PITA学习一个小的基于偏好的引导策略，以在推理时修改token概率，而无需LLM微调，从而降低了计算成本并绕过了预训练奖励模型的依赖性。该问题被建模为识别潜在的偏好分布，并通过随机搜索和迭代优化基于偏好的引导模型来解决。我们在包括数学推理和情感分类在内的各种任务中评估了PITA，证明了其在使LLM输出与用户偏好对齐方面的有效性。

🔬 方法详解

问题定义：现有推理时对齐方法依赖于预训练的奖励模型，该模型需要通过人类反馈进行训练。这个过程既不稳定又耗费资源，因为奖励模型的训练本身就是一个复杂的机器学习问题。此外，奖励模型可能无法完美捕捉用户的真实偏好，从而影响最终的对齐效果。

核心思路：PITA的核心思路是直接将用户偏好融入到LLM的token生成过程中，避免了对奖励模型的依赖。它通过学习一个小的、基于偏好的引导策略来修改LLM在推理时的token概率，从而使生成的文本更符合用户的期望。这种方法的核心在于直接优化生成过程，而不是通过一个中间的奖励信号。

技术框架：PITA的技术框架主要包含以下几个阶段：1) 定义偏好分布：将用户的偏好表示为一个潜在的分布。2) 随机搜索：通过随机搜索的方式探索可能的引导策略。3) 迭代优化：迭代地优化基于偏好的引导模型，使其生成的文本更符合偏好分布。这个过程不需要对原始LLM进行任何微调。

关键创新：PITA最重要的创新点在于它完全绕过了对预训练奖励模型的依赖。通过直接将偏好信息融入到token生成过程中，PITA能够更有效地对齐LLM的输出，同时降低了计算成本和训练难度。这种方法也更加灵活，可以适应不同的用户偏好。

关键设计：PITA的关键设计包括：1) 偏好分布的表示方式：如何有效地表示用户的偏好是一个关键问题。论文可能采用了某种形式的概率分布或向量表示。2) 引导策略的学习算法：如何有效地学习引导策略，使其能够修改token概率，从而生成符合偏好的文本。论文可能采用了某种形式的强化学习或监督学习算法。3) 损失函数的设计：如何设计损失函数，以衡量生成文本与用户偏好之间的差距。论文可能采用了某种形式的KL散度或交叉熵损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在数学推理和情感分类等任务上验证了PITA的有效性。具体实验结果未知，但摘要表明PITA能够有效地使LLM的输出与用户偏好对齐，并且避免了对预训练奖励模型的依赖，降低了计算成本。

🎯 应用场景

PITA具有广泛的应用前景，例如个性化内容生成、对话系统优化、以及任何需要根据用户偏好调整LLM输出的场景。它可以应用于电商推荐、智能客服、教育辅导等领域，提升用户体验和满意度。未来，PITA可以与其他技术结合，例如主动学习和联邦学习，以进一步提高其性能和适应性。

📄 摘要（原文）

Inference-time alignment enables large language models (LLMs) to generate outputs aligned with end-user preferences without further training. Recent post-training methods achieve this by using small guidance models to modify token generation during inference. These methods typically optimize a reward function KL-regularized by the original LLM taken as the reference policy. A critical limitation, however, is their dependence on a pre-trained reward model, which requires fitting to human preference feedback--a potentially unstable process. In contrast, we introduce PITA, a novel framework that integrates preference feedback directly into the LLM's token generation, eliminating the need for a reward model. PITA learns a small preference-based guidance policy to modify token probabilities at inference time without LLM fine-tuning, reducing computational cost and bypassing the pre-trained reward model dependency. The problem is framed as identifying an underlying preference distribution, solved through stochastic search and iterative refinement of the preference-based guidance model. We evaluate PITA across diverse tasks, including mathematical reasoning and sentiment classification, demonstrating its effectiveness in aligning LLM outputs with user preferences.