Test-Time Preference Optimization: On-the-Fly Alignment via Iterative Textual Feedback

📄 arXiv: 2501.12895v1 📥 PDF

作者: Yafu Li, Xuyang Hu, Xiaoye Qu, Linjie Li, Yu Cheng

分类: cs.CL

发布日期: 2025-01-22

备注: 43 pages; work in progress

🔗 代码/项目: GITHUB

💡 一句话要点

提出测试时偏好优化（TPO），通过迭代文本反馈实现LLM的即时对齐。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 偏好对齐 测试时优化 文本反馈 迭代优化

📋 核心要点

  1. 现有LLM难以在不重新训练的情况下快速适应人类偏好，限制了其应用灵活性。
  2. TPO框架通过将奖励信号转化为文本评论，迭代优化LLM的输出，使其与人类偏好对齐。
  3. 实验表明，TPO能显著提升LLM在指令遵循、偏好对齐等方面的性能，甚至超越专门对齐的模型。

📝 摘要（中文）

大型语言模型（LLM）展现了卓越的性能，但缺乏在不重新训练的情况下快速适应人类偏好的灵活性。本文提出了测试时偏好优化（TPO）框架，该框架在推理过程中使LLM的输出与人类偏好对齐，无需更新模型参数。TPO不是依赖纯粹的数值奖励，而是将奖励信号转化为文本评论，并将其用作文本奖励来迭代地改进其响应。在涵盖指令遵循、偏好对齐、安全性和数学的基准测试中，评估结果表明TPO逐步提高了与人类偏好的对齐。值得注意的是，仅经过几个TPO步骤后，最初未对齐的Llama-3.1-70B-SFT模型就可以超越对齐后的Llama-3.1-70B-Instruct模型。此外，TPO在推理过程中可以有效地扩展搜索宽度和深度。通过案例研究，我们展示了TPO如何利用LLM的内在能力来解释和执行奖励信号。我们的研究结果表明，TPO是一种实用的、轻量级的测试时偏好优化替代方案，可以实现即时对齐。代码已公开。

🔬 方法详解

问题定义：现有大型语言模型（LLM）虽然能力强大，但要使其输出与特定用户或场景的偏好对齐，通常需要耗时的重新训练或微调。这限制了LLM的即时性和灵活性，难以适应快速变化的需求。现有方法依赖数值奖励信号，缺乏对LLM内在语言理解能力的有效利用。

核心思路：TPO的核心在于将传统的数值奖励信号转化为文本形式的评论或反馈。这种文本反馈能够更好地被LLM理解和利用，从而指导其生成更符合人类偏好的输出。通过迭代地生成回复、接收文本反馈、并基于反馈改进回复，TPO实现了在测试时（推理阶段）对LLM进行偏好对齐，避免了模型参数的更新。

技术框架：TPO框架主要包含以下几个阶段：1) LLM生成初始回复；2) 基于人类偏好或预定义的规则，对回复进行文本评价，生成文本反馈（例如，指出回复中的不足或改进方向）；3) 将文本反馈作为上下文，输入LLM，要求其生成改进后的回复；4) 重复步骤2和3，进行多次迭代，直到回复满足预设的偏好要求或达到最大迭代次数。

关键创新：TPO的关键创新在于使用文本反馈代替数值奖励。文本反馈具有更强的表达能力和可解释性，能够更有效地引导LLM的生成过程。此外，TPO无需模型参数更新，实现了轻量级的测试时偏好优化。与传统的强化学习方法相比，TPO避免了复杂的奖励函数设计和训练过程。

关键设计：TPO的关键设计包括：1) 文本反馈的生成方式：可以由人工标注，也可以由预定义的规则或模型自动生成。文本反馈的质量直接影响TPO的效果。2) 迭代次数：迭代次数决定了优化程度，需要根据具体任务进行调整。3) LLM的选择：TPO可以应用于各种LLM，但不同LLM对文本反馈的理解和利用能力可能不同。4) Prompt的设计：如何将文本反馈有效地融入到LLM的prompt中，也是一个重要的设计考虑。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TPO能够显著提升LLM在指令遵循、偏好对齐、安全性和数学等方面的性能。经过几次TPO迭代后，未对齐的Llama-3.1-70B-SFT模型甚至可以超越专门对齐的Llama-3.1-70B-Instruct模型。此外，TPO在推理过程中可以有效地扩展搜索宽度和深度，表明其具有良好的可扩展性。

🎯 应用场景

TPO具有广泛的应用前景，例如个性化推荐系统、智能客服、内容生成等。它可以根据用户的实时反馈，动态调整LLM的输出，提供更符合用户需求的个性化服务。此外，TPO还可以用于提高LLM的安全性，通过文本反馈引导LLM避免生成有害或不当内容。未来，TPO有望成为一种通用的LLM偏好对齐方法，促进LLM在各个领域的应用。

📄 摘要（原文）

Large language models (LLMs) demonstrate impressive performance but lack the flexibility to adapt to human preferences quickly without retraining. In this work, we introduce Test-time Preference Optimization (TPO), a framework that aligns LLM outputs with human preferences during inference, removing the need to update model parameters. Rather than relying on purely numerical rewards, TPO translates reward signals into textual critiques and uses them as textual rewards to iteratively refine its response. Evaluations on benchmarks covering instruction following, preference alignment, safety, and mathematics reveal that TPO progressively improves alignment with human preferences. Notably, after only a few TPO steps, the initially unaligned Llama-3.1-70B-SFT model can surpass the aligned counterpart, Llama-3.1-70B-Instruct. Furthermore, TPO scales efficiently with both the search width and depth during inference. Through case studies, we illustrate how TPO exploits the innate capacity of LLM to interpret and act upon reward signals. Our findings establish TPO as a practical, lightweight alternative for test-time preference optimization, achieving alignment on the fly. Our code is publicly available at https://github.com/yafuly/TPO.