Language Models can Self-Lengthen to Generate Long Texts

📄 arXiv: 2410.23933v1 📥 PDF

作者: Shanghaoran Quan, Tianyi Tang, Bowen Yu, An Yang, Dayiheng Liu, Bofei Gao, Jianhong Tu, Yichang Zhang, Jingren Zhou, Junyang Lin

分类: cs.CL

发布日期: 2024-10-31

🔗 代码/项目: GITHUB

💡 一句话要点

提出Self-Lengthen框架，利用LLM自身能力生成更长文本，无需额外数据或专有模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本生成 自学习 迭代训练 大型语言模型 文本扩展

📋 核心要点

  1. 现有LLM在长文本生成方面存在不足，主要原因是缺乏有效的长文本生成训练数据。
  2. Self-Lengthen框架通过迭代训练生成器和扩展器，逐步提升LLM生成长文本的能力。
  3. 实验结果表明，Self-Lengthen在长文本生成方面优于现有方法，尤其是在开源LLM上。

📝 摘要（中文）

大型语言模型(LLMs)在处理长上下文方面取得了显著进展，但在生成长且对齐的输出方面仍存在明显差距。这种限制源于训练差距，即预训练缺乏有效的长文本生成指令，而后训练数据主要由短查询-响应对组成。目前的方法，如指令回译和行为模仿，面临数据质量、版权问题以及专有模型使用限制等挑战。本文介绍了一种创新的迭代训练框架Self-Lengthen，它仅利用LLM的内在知识和技能，无需辅助数据或专有模型。该框架由生成器和扩展器两个角色组成。生成器产生初始响应，然后由扩展器分割和扩展。这个过程产生一个新的、更长的响应，用于迭代训练生成器和扩展器。通过这个过程，模型逐渐被训练来处理越来越长的响应。在基准测试和人工评估中进行的实验表明，当应用于Qwen2和LLaMA3等顶级开源LLM时，Self-Lengthen在长文本生成方面优于现有方法。我们的代码已公开发布在https://github.com/QwenLM/Self-Lengthen。

🔬 方法详解

问题定义：现有大型语言模型在生成长文本时面临挑战，主要原因是预训练阶段缺乏长文本生成的有效指令，而后训练阶段的数据又以短文本的问答对为主。这导致模型在处理长文本生成任务时，难以保持文本的连贯性和一致性。现有方法，如指令回译和行为模仿，依赖于额外的数据，存在数据质量、版权以及对专有模型的依赖等问题。

核心思路：Self-Lengthen的核心思路是利用LLM自身的能力，通过迭代的方式逐步提升其生成长文本的能力。该方法避免了对额外数据的依赖，仅使用模型自身的知识和技能。通过生成器和扩展器的协同工作，模型可以逐步学习如何生成更长、更连贯的文本。

技术框架：Self-Lengthen框架包含两个主要模块：生成器（Generator）和扩展器（Extender）。生成器负责生成初始的文本响应。扩展器则负责将生成器产生的文本进行分割和扩展，生成更长的文本。整个训练过程是迭代进行的，每次迭代都使用上一次迭代生成的更长的文本来训练生成器和扩展器。通过这种迭代的方式，模型可以逐步学习如何生成更长的文本。

关键创新：Self-Lengthen最重要的创新点在于其完全依赖LLM自身的能力进行长文本生成，无需任何外部数据或专有模型。这种自学习的方式避免了数据质量和版权问题，也使得该方法可以应用于各种不同的LLM。此外，迭代训练的方式使得模型可以逐步学习如何生成更长的文本，避免了一次性训练带来的困难。

关键设计：在Self-Lengthen框架中，生成器和扩展器可以是同一个模型，也可以是不同的模型。在训练过程中，可以使用不同的损失函数来优化生成器和扩展器。例如，可以使用交叉熵损失函数来优化生成器的文本生成能力，可以使用一致性损失函数来保证扩展器生成的文本与原始文本的一致性。具体的参数设置和网络结构可以根据不同的LLM进行调整。

🖼️ 关键图片

img_0

📊 实验亮点

Self-Lengthen框架在长文本生成任务中表现出色，优于现有方法。实验结果表明，将Self-Lengthen应用于Qwen2和LLaMA3等开源LLM时，能够显著提升其生成长文本的能力。具体的性能数据和提升幅度在论文中有详细展示，证明了该方法的有效性。

🎯 应用场景

Self-Lengthen框架可应用于各种需要生成长文本的场景，例如长篇小说创作、新闻报道生成、技术文档编写等。该方法无需额外数据，降低了应用成本，并可提升现有LLM在长文本生成方面的能力，具有广泛的应用前景和实际价值。未来，该方法有望进一步提升LLM在复杂长文本生成任务中的表现。

📄 摘要（原文）

Recent advancements in Large Language Models (LLMs) have significantly enhanced their ability to process long contexts, yet a notable gap remains in generating long, aligned outputs. This limitation stems from a training gap where pre-training lacks effective instructions for long-text generation, and post-training data primarily consists of short query-response pairs. Current approaches, such as instruction backtranslation and behavior imitation, face challenges including data quality, copyright issues, and constraints on proprietary model usage. In this paper, we introduce an innovative iterative training framework called Self-Lengthen that leverages only the intrinsic knowledge and skills of LLMs without the need for auxiliary data or proprietary models. The framework consists of two roles: the Generator and the Extender. The Generator produces the initial response, which is then split and expanded by the Extender. This process results in a new, longer response, which is used to train both the Generator and the Extender iteratively. Through this process, the models are progressively trained to handle increasingly longer responses. Experiments on benchmarks and human evaluations show that Self-Lengthen outperforms existing methods in long-text generation, when applied to top open-source LLMs such as Qwen2 and LLaMA3. Our code is publicly available at https://github.com/QwenLM/Self-Lengthen.