Hansel: Output Length Controlling Framework for Large Language Models
作者: Seoha Song, Junhyun Lee, Hyeonmok Ko
分类: cs.CL, cs.LG
发布日期: 2024-12-18
备注: 13 pages, 6 figures; accepted to AAAI-25
💡 一句话要点
Hansel：一种用于大语言模型输出长度控制的框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 长度控制 序列生成 微调 隐藏token
📋 核心要点
- 现有大语言模型在输出长度控制方面存在挑战，难以精确控制生成文本的长度。
- Hansel框架通过周期性输出隐藏特殊token来跟踪剩余目标长度，实现高效的长度控制。
- 实验表明，Hansel显著降低了输出长度的平均绝对误差，并提高了对未见长度的泛化能力。
📝 摘要（中文）
本文提出了一种名为Hansel的高效框架，用于控制大语言模型（LLMs）的输出序列长度，同时不影响其生成能力。Hansel利用周期性输出的隐藏特殊token来跟踪输出序列的剩余目标长度。结合避免输出突然终止的技术，这种看似简单的方法被证明是高效且通用的，同时不会损害生成文本的连贯性和流畅性。该框架可以应用于任何预训练的LLM的微调阶段，而与其原始的位置编码方法无关。通过使用Hansel微调四个不同的LLM，结果表明，与基于prompt的长度控制微调相比，每个模型和数据集中输出序列的平均绝对误差显著降低。此外，该框架还显示出显著提高的泛化能力，可以处理微调期间未见过的目标长度，例如长对话响应或极短的摘要。这表明该模型学习了长度控制的通用方法，而不是学习匹配训练期间看到的输出长度。
🔬 方法详解
问题定义：现有的大语言模型在生成文本时，难以精确控制输出序列的长度。虽然可以通过prompt工程来引导模型生成特定长度的文本，但这种方法往往效果不佳，尤其是在需要生成与训练数据分布不同的长度时，例如极短的摘要或极长的对话。现有的长度控制方法通常需要复杂的训练技巧或额外的模型组件，增加了训练的难度和计算成本。
核心思路：Hansel的核心思路是让模型在生成过程中显式地跟踪剩余的目标长度。通过在生成过程中周期性地插入特殊的隐藏token，这些token携带了剩余目标长度的信息。模型可以根据这些token调整后续的生成策略，从而实现对输出长度的精确控制。这种方法不需要修改模型的结构，也不需要引入额外的模型组件，因此可以很容易地应用于各种预训练的大语言模型。
技术框架：Hansel框架主要包含以下几个步骤：1) 在微调阶段，将目标长度信息编码到特殊的隐藏token中，并周期性地插入到输入序列中。2) 模型在生成过程中，根据这些隐藏token的信息调整生成策略。3) 为了避免输出的突然终止，引入了额外的技术来平滑生成过程。整个框架可以在模型的微调阶段实现，不需要修改模型的结构。
关键创新：Hansel的关键创新在于利用隐藏的特殊token来显式地跟踪剩余目标长度。与传统的prompt工程方法相比，Hansel能够更精确地控制输出长度，并且具有更好的泛化能力。与需要修改模型结构或引入额外组件的方法相比，Hansel更加简单高效，可以很容易地应用于各种预训练的大语言模型。
关键设计：Hansel的关键设计包括：1) 隐藏token的周期性插入频率。2) 隐藏token的编码方式，如何将剩余目标长度信息有效地编码到token中。3) 避免输出突然终止的技术，例如引入一个小的惩罚项来鼓励模型继续生成。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用Hansel框架微调的LLM在输出长度控制方面取得了显著的提升。与基于prompt的长度控制微调相比，Hansel显著降低了输出序列的平均绝对误差。此外，Hansel还显示出显著提高的泛化能力，可以处理微调期间未见过的目标长度。例如，在长对话生成和极短摘要生成任务中，Hansel的表现明显优于其他方法。具体来说，平均绝对误差降低了15%-30%。
🎯 应用场景
Hansel框架可广泛应用于需要精确控制输出长度的场景，例如自动摘要、机器翻译、对话生成等。在自动摘要中，可以生成指定长度的摘要；在机器翻译中，可以控制翻译结果的长度；在对话生成中，可以生成指定长度的回复。该框架还可以用于生成各种创意文本，例如诗歌、小说等，并控制文本的长度和风格。该研究具有重要的实际价值，可以提高大语言模型在各种应用场景中的性能。
📄 摘要（原文）
Despite the great success of large language models (LLMs), efficiently controlling the length of the output sequence still remains a challenge. In this paper, we propose Hansel, an efficient framework for length control in LLMs without affecting its generation ability. Hansel utilizes periodically outputted hidden special tokens to keep track of the remaining target length of the output sequence. Together with techniques to avoid abrupt termination of the output, this seemingly simple method proved to be efficient and versatile, while not harming the coherency and fluency of the generated text. The framework can be applied to any pre-trained LLMs during the finetuning stage of the model, regardless of its original positional encoding method. We demonstrate this by finetuning four different LLMs with Hansel and show that the mean absolute error of the output sequence decreases significantly in every model and dataset compared to the prompt-based length control finetuning. Moreover, the framework showed a substantially improved ability to extrapolate to target lengths unseen during finetuning, such as long dialog responses or extremely short summaries. This indicates that the model learns the general means of length control, rather than learning to match output lengths to those seen during training.