DELIA: Diversity-Enhanced Learning for Instruction Adaptation in Large Language Models

📄 arXiv: 2408.10841v1 📥 PDF

作者: Yuanhao Zeng, Fei Ren, Xinpeng Zhou, Yihang Wang, Yingxia Shao

分类: cs.AI, cs.CL

发布日期: 2024-08-19

备注: 8 pages, 5 figures

💡 一句话要点

DELIA：通过多样性增强学习提升大语言模型指令适应能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 大语言模型 多样性学习 数据合成 特征表示

📋 核心要点

  1. 指令调优虽能调整LLM行为，但主要使其适应特定任务格式，而非学习新知识，根本原因是学习到有偏特征。
  2. DELIA利用LLM训练数据的多样性缓冲效应，将指令调优中的有偏特征转化为理想特征的近似，无需先验知识。
  3. 实验表明，DELIA在翻译和文本生成任务上显著优于传统指令调优方法，并能对齐新token的内部表示。

📝 摘要（中文）

指令调优被广泛用于调整大语言模型的行为，但大量经验证据表明，这主要是一个模型适应特定任务格式的过程，而不是获取新的知识或能力。我们认为这种局限性源于指令调优过程中学习到的有偏特征，这些特征与理想的任务特定特征不同，导致在下游任务中学习到的底层语义较少。然而，理想的特征是未知且无法计算的，这限制了过去的工作依赖于先验知识来辅助推理或训练，从而限制了大语言模型的能力，使其受限于开发者的能力，而不是数据驱动的可扩展学习。在我们的论文中，通过我们新颖的数据合成方法DELIA（多样性增强学习指令适应），我们利用大语言模型训练中广泛多样数据的缓冲效应，将指令调优中的有偏特征转化为理想特征的近似，而无需显式的先验理想特征。实验表明，与常见的指令调优和其他基线相比，DELIA具有更好的性能。在冰岛语-英语翻译BLEURT得分（WMT-21数据集，gemma-7b-it）上，DELIA优于常见的指令调优17.07%-33.41%，在格式化文本生成（Llama2-7b-chat）上，DELIA将准确率提高了36.1%。值得注意的是，在我们已知的知识注入方法中，DELIA独特地将新的特殊token的内部表示与其先前的语义对齐。

🔬 方法详解

问题定义：现有指令调优方法主要使LLM适应特定任务格式，而非学习新知识，导致模型泛化能力不足。根本原因是指令调优过程中学习到的特征是有偏的，与理想的任务特定特征存在差异。现有方法依赖先验知识来缓解这个问题，限制了LLM的能力上限。

核心思路：DELIA的核心思路是利用LLM预训练阶段所学习到的丰富知识和多样性数据，通过一种新颖的数据合成方法，将指令调优过程中产生的有偏特征转化为理想特征的近似。这样，模型就能在指令调优过程中更好地学习到任务的底层语义，从而提升泛化能力。

技术框架：DELIA方法主要包含以下几个阶段：1) 数据合成：设计一种多样性增强的数据合成策略，生成包含各种指令和任务描述的训练数据。2) 指令调优：使用合成的数据对LLM进行指令调优，使模型适应新的任务和指令格式。3) 特征转化：利用LLM预训练阶段学习到的知识，将指令调优过程中产生的有偏特征转化为理想特征的近似。

关键创新：DELIA的关键创新在于其数据合成方法和特征转化策略。传统方法依赖人工设计的先验知识，而DELIA则利用LLM自身的能力，通过数据驱动的方式学习理想特征的近似。此外，DELIA能够对齐新加入的token的内部表示与其先前的语义，这在知识注入方法中是独一无二的。

关键设计：DELIA的数据合成策略旨在生成多样化的训练数据，包括不同的指令格式、任务描述和输入输出示例。具体的参数设置和损失函数细节在论文中未明确说明，但可以推测使用了标准的交叉熵损失函数进行训练。网络结构方面，DELIA方法可以应用于各种基于Transformer的LLM，无需修改模型结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DELIA在冰岛语-英语翻译任务（WMT-21数据集，gemma-7b-it）上，BLEURT得分比传统指令调优提升了17.07%-33.41%。在格式化文本生成任务（Llama2-7b-chat）上，准确率提高了36.1%。这些结果表明，DELIA能够显著提升LLM的指令适应能力和性能。

🎯 应用场景

DELIA方法可广泛应用于各种需要指令调优的大语言模型应用场景，例如机器翻译、文本生成、对话系统等。该方法能够提升模型的泛化能力和适应性，使其更好地理解和执行用户的指令，从而提高用户体验。此外，DELIA在知识注入方面具有独特优势，可以用于扩展模型的知识库和能力。

📄 摘要（原文）

Although instruction tuning is widely used to adjust behavior in Large Language Models (LLMs), extensive empirical evidence and research indicates that it is primarily a process where the model fits to specific task formats, rather than acquiring new knowledge or capabilities. We propose that this limitation stems from biased features learned during instruction tuning, which differ from ideal task-specfic features, leading to learn less underlying semantics in downstream tasks. However, ideal features are unknown and incalculable, constraining past work to rely on prior knowledge to assist reasoning or training, which limits LLMs' capabilities to the developers' abilities, rather than data-driven scalable learning. In our paper, through our novel data synthesis method, DELIA (Diversity-Enhanced Learning for Instruction Adaptation), we leverage the buffering effect of extensive diverse data in LLMs training to transform biased features in instruction tuning into approximations of ideal features, without explicit prior ideal features. Experiments show DELIA's better performance compared to common instruction tuning and other baselines. It outperforms common instruction tuning by 17.07%-33.41% on Icelandic-English translation bleurt score (WMT-21 dataset, gemma-7b-it) and improves accuracy by 36.1% on formatted text generation (Llama2-7b-chat). Notably, among knowledge injection methods we've known, DELIA uniquely align the internal representations of new special tokens with their prior semantics.