Self-Aligned Reward: Towards Effective and Efficient Reasoners

📄 arXiv: 2509.05489v1 📥 PDF

作者: Peixuan Han, Adit Krishnan, Gerald Friedland, Jiaxuan You, Chris Kong

分类: cs.LG

发布日期: 2025-09-05

💡 一句话要点

提出自对齐奖励(SAR)，提升LLM推理精度与效率，降低计算成本。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自对齐奖励 强化学习 大型语言模型 推理效率 困惑度

📋 核心要点

  1. 现有基于可验证奖励的LLM推理方法，奖励信号粗糙，仅提供二元正确性反馈，导致推理冗长和计算成本高昂。
  2. 论文提出自对齐奖励(SAR)，通过比较条件困惑度和独立困惑度，鼓励模型生成简洁且与查询相关的答案。
  3. 实验表明，SAR能提升模型准确率4%，同时降低30%的推理成本，并在正确性和效率之间取得更好的平衡。

📝 摘要（中文）

本文提出自对齐奖励(SAR)，一种自引导信号，用于补充可验证奖励，以鼓励大型语言模型(LLM)推理的准确性和效率。SAR定义为答案在给定查询条件下的困惑度与独立答案困惑度之间的相对差异，从而倾向于简洁且特定于查询的响应。定量分析表明，SAR能够可靠地区分答案质量：简洁、正确的答案得分高于冗余答案，部分正确的答案得分高于完全错误的答案。在7个基准测试中，对4个模型进行评估表明，将SAR与PPO和GRPO等主流强化学习算法相结合，可将准确率提高4%，同时降低30%的推理成本。进一步分析表明，与基于长度或自信度的奖励信号相比，SAR在正确性和效率之间实现了帕累托最优的权衡。我们还表明，SAR在保留高级推理行为的同时缩短了响应，证明了其能够在不损失关键推理的情况下抑制不必要的阐述。这些结果突出了自对齐奖励作为可验证奖励的精细补充的潜力，为更有效和高效的LLM训练铺平了道路。

🔬 方法详解

问题定义：现有基于强化学习的LLM推理方法，通常使用可验证的奖励信号（例如，答案是否正确）来训练模型。然而，这种奖励信号过于粗糙，只能提供二元反馈，无法区分答案的质量和效率。这导致模型倾向于生成冗长、不必要的推理过程，增加了计算成本，并且可能影响最终的准确性。现有方法要么牺牲准确性以换取效率，要么无法有效地平衡两者。

核心思路：论文的核心思路是引入一种自引导的奖励信号，即自对齐奖励(SAR)，来补充现有的可验证奖励。SAR的核心思想是，一个好的答案应该既准确又简洁，并且与给定的查询密切相关。通过比较答案在给定查询条件下的困惑度与独立答案的困惑度，SAR可以衡量答案的简洁性和相关性，并给予相应的奖励。

技术框架：整体框架是在现有的强化学习训练流程中，增加SAR作为额外的奖励信号。具体来说，模型首先生成一个答案，然后计算该答案的可验证奖励（例如，答案是否正确）。同时，计算SAR，即答案在给定查询条件下的困惑度与独立答案的困惑度之间的相对差异。最后，将这两个奖励信号结合起来，用于更新模型的参数。可以使用现有的强化学习算法，如PPO或GRPO，来进行训练。

关键创新：最重要的技术创新点是SAR的定义和使用。与现有的奖励信号相比，SAR更加精细，能够区分答案的质量和效率。它不需要额外的人工标注或外部知识，而是完全基于模型自身的预测能力。此外，SAR能够鼓励模型生成简洁且与查询相关的答案，从而降低计算成本并提高准确性。与基于长度或自信度的奖励信号相比，SAR在正确性和效率之间实现了更好的权衡。

关键设计：SAR的关键设计在于困惑度的计算方式。论文使用模型的语言模型头来计算困惑度，并使用相对差异来衡量答案的简洁性和相关性。具体来说，SAR定义为：SAR = perplexity(answer) - perplexity(answer | query)。其中，perplexity(answer)是独立答案的困惑度，perplexity(answer | query)是答案在给定查询条件下的困惑度。通过这种方式，SAR可以有效地衡量答案的质量和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，将SAR与PPO和GRPO等主流强化学习算法相结合，在7个基准测试中，可将LLM的准确率平均提高4%，同时降低30%的推理成本。与基于长度或自信度的奖励信号相比，SAR在正确性和效率之间实现了帕累托最优的权衡。此外，SAR能够在保留高级推理行为的同时缩短响应，证明了其能够在不损失关键推理的情况下抑制不必要的阐述。

🎯 应用场景

该研究成果可应用于各种需要大型语言模型进行推理的场景，例如问答系统、对话系统、代码生成等。通过引入自对齐奖励，可以训练出更加高效和准确的LLM，降低计算成本，并提高用户体验。未来，该方法可以进一步扩展到其他类型的任务和模型，例如多模态推理和视觉语言模型。

📄 摘要（原文）

Reinforcement learning with verifiable rewards has significantly advanced reasoning in large language models (LLMs), but such signals remain coarse, offering only binary correctness feedback. This limitation often results in inefficiencies, including overly verbose reasoning and high computational cost, while existing solutions often compromise accuracy. To address this, we introduce self-aligned reward (SAR), a self-guided signal that complements verifiable rewards to encourage both reasoning accuracy and efficiency. SAR is defined as the relative perplexity difference between an answer conditioned on the query and the standalone answer, thereby favoring responses that are concise and query-specific. Quantitative analysis reveals that SAR reliably distinguishes answer quality: concise, correct answers score higher than redundant ones, and partially correct answers score higher than entirely incorrect ones. Evaluation on 4 models across 7 benchmarks shows that integrating SAR with prevalent RL algorithms like PPO and GRPO improves accuracy by 4%, while reducing inference cost by 30%. Further analysis demonstrates that SAR achieves a Pareto-optimal trade-off between correctness and efficiency compared to reward signals based on length or self-confidence. We also show that SAR shortens responses while preserving advanced reasoning behaviors, demonstrating its ability to suppress unnecessary elaboration without losing critical reasoning. These results highlight the promise of self-aligned reward as a fine-grained complement to verifiable rewards, paving the way for more efficient and effective LLM training.