Nudging: Inference-time Alignment of LLMs via Guided Decoding

📄 arXiv: 2410.09300v4 📥 PDF

作者: Yu Fei, Yasaman Razeghi, Sameer Singh

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-10-11 (更新: 2025-06-03)

备注: Accepted to ACL 2025 (main)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出NUDGING：一种基于引导解码的LLM推理期对齐方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型对齐 推理时对齐 引导解码 零样本学习 模型协作

📋 核心要点

  1. 现有LLM对齐方法需要为每个基础模型训练对齐版本，计算成本高昂。
  2. NUDGING利用小型对齐模型，在基础模型不确定时，通过引导token生成来影响输出。
  3. 实验表明，NUDGING能使小型模型在zero-shot设置下达到甚至超过大型对齐模型的性能。

📝 摘要（中文）

大型语言模型（LLMs）需要对齐才能有效且安全地遵循用户指令。此过程需要为每个基础模型训练一个对齐版本，导致巨大的计算开销。本文提出NUDGING，一种简单的、无需训练的算法，它使用一个小型对齐模型在推理时对齐任何基础模型。NUDGING的动机是最近的发现，即对齐主要改变模型在少量风格标记（例如，话语标记）上的行为。我们发现基础模型在生成这些标记时明显更加不确定。基于这一洞察，NUDGING采用一个小型对齐模型来生成nudging tokens，以在基础模型的不确定性较高时，在解码期间引导基础模型的输出，而只有很小的额外推理开销。我们在各种开放指令任务上评估了3个模型系列的NUDGING。在没有任何训练的情况下，使用一个比大型基础模型小7-14倍的对齐模型进行nudging，可以实现与大型对齐模型相当甚至超过大型对齐模型的zero-shot性能。通过在token级别操作，NUDGING实现了模型系列之间的即时协作。例如，用Llama-2-7b-chat nudging Gemma-2-27b 在各种任务上优于Llama-2-70b-chat。总的来说，我们的工作为LLM对齐提供了一个模块化和经济高效的解决方案。我们的代码和演示可在https://fywalter.github.io/nudging/ 获得。

🔬 方法详解

问题定义：大型语言模型（LLMs）的对齐是一个关键问题，旨在使其能够安全有效地遵循用户指令。然而，传统的对齐方法通常需要为每个基础模型单独训练一个对齐版本，这带来了巨大的计算开销和资源消耗。现有的对齐方法缺乏灵活性和模块化，难以在不同的模型之间进行迁移和复用。

核心思路：NUDGING的核心思路是利用一个小型、预先对齐的模型，在推理阶段引导基础模型的生成过程。该方法基于一个观察：对齐主要影响模型在少量特定风格的token（如话语标记）上的行为。基础模型在生成这些token时表现出更高的不确定性。因此，NUDGING选择性地干预基础模型的生成过程，仅在模型不确定时才引入引导。

技术框架：NUDGING的整体框架包括以下几个主要步骤：1) 基础模型生成token序列；2) 监测基础模型在生成每个token时的不确定性（例如，通过softmax概率）；3) 当不确定性超过预设阈值时，激活引导机制；4) 使用小型对齐模型生成“nudging tokens”，这些token旨在引导基础模型朝着更符合对齐目标的方向生成；5) 将nudging tokens融入到基础模型的生成过程中，影响后续token的生成。

关键创新：NUDGING的关键创新在于其推理时对齐的策略，避免了昂贵的训练过程。它通过选择性地干预基础模型的生成过程，实现了高效的对齐。此外，NUDGING的模块化设计允许不同模型家族之间的即插即用，例如，可以使用Llama-2-7b-chat来引导Gemma-2-27b。这种跨模型的协作是传统对齐方法难以实现的。

关键设计：NUDGING的关键设计包括：1) 不确定性阈值的设定，用于触发引导机制；2) nudging tokens的生成方式，例如，可以直接使用对齐模型的输出，或者使用某种加权平均；3) nudging tokens与基础模型生成过程的融合方式，例如，可以通过修改softmax概率分布来实现。论文中没有明确说明具体的参数设置和损失函数，这部分细节可能需要参考代码实现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NUDGING在多个开放指令任务上取得了显著的性能提升。例如，使用一个比Llama-2-70b-chat小得多的Llama-2-7b-chat模型来nudging Gemma-2-27b，在某些任务上甚至超过了Llama-2-70b-chat的性能。这些结果表明，NUDGING是一种高效且有效的LLM对齐方法，能够在zero-shot设置下实现与大型对齐模型相当甚至更好的性能。

🎯 应用场景

NUDGING具有广泛的应用前景，可以用于快速对齐各种LLM，降低对齐成本。它尤其适用于资源受限的场景，例如边缘计算设备或小型企业。此外，NUDGING的模块化特性使其能够促进不同模型之间的协作，从而加速LLM的开发和应用。未来，NUDGING可以扩展到其他类型的对齐任务，例如安全性对齐和价值观对齐。

📄 摘要（原文）

Large language models (LLMs) require alignment to effectively and safely follow user instructions. This process necessitates training an aligned version for every base model, resulting in significant computational overhead. In this work, we propose NUDGING, a simple, training-free algorithm that aligns any base model at inference time using a small aligned model. NUDGING is motivated by recent findings that alignment primarily alters the model's behavior on a small subset of stylistic tokens (e.g., discourse markers). We find that base models are significantly more uncertain when generating these tokens. Building on this insight, NUDGING employs a small aligned model to generate nudging tokens to guide the base model's output during decoding when the base model's uncertainty is high, with only a minor additional inference overhead. We evaluate NUDGING across 3 model families on a diverse range of open-instruction tasks. Without any training, nudging a large base model with a 7x-14x smaller aligned model achieves zero-shot performance comparable to, and sometimes surpassing, that of large aligned models. By operating at the token level, NUDGING enables off-the-shelf collaboration between model families. For instance, nudging Gemma-2-27b with Llama-27b-chat outperforms Llama-2-70b-chat on various tasks. Overall, our work offers a modular and cost-efficient solution to LLM alignment. Our code and demo are available at: https://fywalter.github.io/nudging/ .