LongReward: Improving Long-context Large Language Models with AI Feedback

📄 arXiv: 2410.21252v1 📥 PDF

作者: Jiajie Zhang, Zhongni Hou, Xin Lv, Shulin Cao, Zhenyu Hou, Yilin Niu, Lei Hou, Yuxiao Dong, Ling Feng, Juanzi Li

分类: cs.CL, cs.LG

发布日期: 2024-10-28

💡 一句话要点

提出LongReward，利用AI反馈提升长文本大语言模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本大语言模型 AI反馈 强化学习 奖励模型 离线强化学习

📋 核心要点

  1. 现有长文本LLM的SFT训练依赖质量欠佳的LLM合成数据，限制了模型性能。
  2. LongReward利用LLM对模型输出进行多维度评估，生成可靠的奖励信号，用于强化学习。
  3. 实验表明LongReward显著提升了模型在长文本上的性能，并增强了短指令遵循能力。

📝 摘要（中文）

尽管长文本大语言模型(LLMs)取得了显著进展，但用于监督微调(SFT)的LLM合成数据的质量问题，通常会影响SFT模型在长文本上的性能，并导致固有的局限性。原则上，具有适当奖励信号的强化学习(RL)可以进一步增强模型的能力。然而，如何在长文本场景中获得可靠的奖励仍然是一个未被探索的问题。为此，我们提出LongReward，一种新颖的方法，它利用现成的LLM从四个以人为本的维度为长文本模型响应提供奖励：helpfulness（有用性）、logicality（逻辑性）、faithfulness（忠实性）和completeness（完整性），每个维度都有一个精心设计的评估流程。通过结合LongReward和离线RL算法DPO，我们能够有效地改进长文本SFT模型。我们的实验表明，LongReward不仅显著提高了模型在长文本上的性能，还增强了它们遵循短指令的能力。我们还发现，带有LongReward的长文本DPO和传统的短文本DPO可以一起使用，而不会损害任何一方的性能。

🔬 方法详解

问题定义：现有长文本大语言模型在监督微调(SFT)阶段，依赖于LLM自身生成的数据，这些数据质量参差不齐，导致SFT后的模型在长文本处理能力上存在瓶颈。如何为长文本场景下的模型训练提供高质量的奖励信号，是一个亟待解决的问题。

核心思路：LongReward的核心思路是利用一个高质量的、现成的LLM作为奖励模型，对长文本生成模型的输出进行评估。通过精心设计的评估流程，从多个维度（有用性、逻辑性、忠实性和完整性）对生成结果进行打分，从而为强化学习提供更可靠的奖励信号。

技术框架：LongReward方法主要包含以下几个阶段：1) 使用SFT模型生成长文本响应；2) 利用预训练的LLM（奖励模型）对生成的响应进行评估，评估维度包括helpfulness, logicality, faithfulness, 和 completeness；3) 将评估结果作为奖励信号，使用离线强化学习算法（如DPO）对SFT模型进行进一步优化。整个框架的关键在于奖励模型的选择和评估流程的设计。

关键创新：LongReward的关键创新在于利用LLM自身来评估LLM的输出，并将其作为强化学习的奖励信号。与传统的基于人工标注或规则的奖励函数相比，LongReward能够更有效地捕捉长文本的复杂语义信息，并提供更细粒度的反馈。此外，LongReward方法具有较强的通用性，可以应用于不同的长文本生成任务和模型。

关键设计：LongReward的关键设计包括：1) 奖励模型的选择：选择一个在相关领域表现良好的LLM作为奖励模型；2) 评估维度的设计：选择helpfulness, logicality, faithfulness, 和 completeness 作为评估维度，并为每个维度设计详细的评估流程；3) 奖励信号的归一化：对奖励模型的输出进行归一化处理，以确保奖励信号的稳定性和有效性；4) 离线强化学习算法的选择：选择合适的离线强化学习算法（如DPO）对SFT模型进行优化。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，LongReward能够显著提升长文本LLM的性能。具体而言，在长文本生成任务上，使用LongReward训练的模型在多个评估指标上均优于基线模型。此外，LongReward还能够增强模型遵循短指令的能力，并且可以与传统的短文本DPO方法结合使用，而不会互相干扰。这些结果验证了LongReward的有效性和通用性。

🎯 应用场景

LongReward方法可广泛应用于需要处理长文本的各种场景，例如长篇小说续写、法律文档生成、科研报告撰写等。通过提升长文本LLM的性能，可以提高自动化内容生成的质量和效率，降低人工成本，并在知识密集型行业中发挥重要作用。未来，该方法有望进一步扩展到多模态长文本生成领域。

📄 摘要（原文）

Though significant advancements have been achieved in developing long-context large language models (LLMs), the compromised quality of LLM-synthesized data for supervised fine-tuning (SFT) often affects the long-context performance of SFT models and leads to inherent limitations. In principle, reinforcement learning (RL) with appropriate reward signals can further enhance models' capacities. However, how to obtain reliable rewards in long-context scenarios remains unexplored. To this end, we propose LongReward, a novel method that utilizes an off-the-shelf LLM to provide rewards for long-context model responses from four human-valued dimensions: helpfulness, logicality, faithfulness, and completeness, each with a carefully designed assessment pipeline. By combining LongReward and offline RL algorithm DPO, we are able to effectively improve long-context SFT models. Our experiments indicate that LongReward not only significantly improves models' long-context performance but also enhances their ability to follow short instructions. We also find that long-context DPO with LongReward and conventional short-context DPO can be used together without hurting either one's performance.