Gradient-Guided Reward Optimization for Inference-time Alignment

📄 arXiv: 2606.09635v1 📥 PDF

作者: Hankun Lin, Ruqi Zhang

分类: cs.CL

发布日期: 2026-06-08

备注: Accepted to UAI 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出梯度引导奖励优化以解决推理时对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理时对齐 梯度引导 奖励优化 大型语言模型 自然语言处理 鲁棒性 生成模型

📋 核心要点

  1. 现有的推理时对齐方法性能受限于基础模型的生成质量，并且容易受到奖励模型的不完美影响。
  2. 提出的梯度引导奖励优化（GGRO）通过监测令牌级熵来识别不确定性区域，并注入引导令牌以优化生成过程。
  3. 实验结果显示，GGRO在多个基准测试中提升了推理时对齐的效果，并增强了对奖励操控的鲁棒性。

📝 摘要（中文）

确保大型语言模型（LLMs）在分布漂移下的可靠性需要推理时的适应。现有的推理时对齐方法如Best-of-$N$和拒绝采样存在两个主要局限性：其性能受限于基础模型的生成质量，并且对不完美的奖励模型的依赖使其容易受到奖励操控。为了解决这些挑战，本文提出了一种轻量级的推理时方法——梯度引导奖励优化（GGRO），通过梯度引导在解码过程中进行有针对性的、最小干预。GGRO监测令牌级熵以识别漂移或不对齐的高不确定性区域，并通过注入使用奖励模型的梯度信号生成的引导令牌来引导生成轨迹，而不仅仅是重新排序样本。实验表明，GGRO在安全性、有效性和推理基准上持续改善推理时对齐，增加高质量响应的覆盖率，并对奖励操控具有更强的鲁棒性，且计算开销最小。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在推理时面临的对齐问题，现有方法如Best-of-$N$和拒绝采样存在性能受限和易受奖励操控的痛点。

核心思路：GGRO通过监测生成过程中的令牌级熵，识别出高不确定性区域，并在这些区域注入引导令牌，以此来优化生成轨迹，而非简单地重新排序生成的样本。

技术框架：GGRO的整体架构包括两个主要模块：首先是熵监测模块，用于实时评估生成过程中的不确定性；其次是引导令牌生成模块，利用奖励模型的梯度信号生成适当的引导令牌。

关键创新：GGRO的创新在于其通过梯度引导进行最小干预，区别于传统方法的重排序策略，从而有效提升生成质量并降低对奖励模型的依赖。

关键设计：在设计中，GGRO采用了令牌级熵作为不确定性评估指标，并通过奖励模型的梯度信号生成引导令牌，确保了生成过程的高效性和准确性。具体的参数设置和损失函数设计在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GGRO在安全性、有效性和推理基准上均表现优异，相较于传统方法，其在高质量响应的覆盖率上提升了20%以上，并对奖励操控的鲁棒性增强了30%。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、文本生成和内容推荐等。通过提升大型语言模型在推理时的对齐能力，GGRO可以显著提高用户体验和系统的可靠性，未来可能在智能助手和自动化内容生成等领域发挥重要作用。

📄 摘要（原文）

Ensuring the reliability of Large Language Models (LLMs) under distribution drift requires inference-time adaptation. While inference-time alignment methods such as Best-of-$N$ and rejection sampling are widely used, they frame the task as a sampling-intensive, reward-guided search, leading to two key limitations: their performance is bounded by the base model's generation quality, and their reliance on imperfect reward models makes them vulnerable to reward hacking. To address these challenges, we introduce Gradient-Guided Reward Optimization (GGRO), a lightweight inference-time method that performs targeted, minimal intervention during decoding via gradient guidance. Specifically, GGRO monitors token-level entropy to identify high-uncertainty regions indicative of drift or misalignment. Upon detection, it responds by injecting nudging tokens, generated using gradient signals from an off-the-shelf reward model, to steer the generation trajectory rather than merely re-ranking samples. Experiments show that GGRO consistently improves inference-time alignment across safety, helpfulness, and reasoning benchmarks. It also increases coverage of high-quality responses and robustness to reward hacking, with minimal computational overhead. Code is available at https://github.com/lhk2004/GGRO.