InstructionCP: A fast approach to transfer Large Language Models into target language

📄 arXiv: 2405.20175v1 📥 PDF

作者: Kuang-Ming Chen, Hung-yi Lee

分类: cs.CL, cs.AI

发布日期: 2024-05-30

备注: 10 pages, 1 figure

💡 一句话要点

提出InstructionCP，加速大语言模型向目标语言迁移，同时保留对话能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令学习 持续预训练 多语言模型 语言迁移 对话能力

📋 核心要点

  1. 现有方法CP和SFT在迁移语言时可能降低模型过滤有害内容的能力，并损失对话能力。
  2. InstructionCP将指令标签融入持续预训练，在学习新语言的同时，保持模型的对话能力和RLHF能力。
  3. 实验证明InstructionCP在语言对齐、可靠性和知识基准上有效，且仅需少量高质量指令数据。

📝 摘要（中文）

近年来，大型语言模型（LLMs）的快速发展主要集中在英语上，导致模型只能用英语回复。为了使这些模型适应其他语言，通常采用持续预训练（CP），然后进行监督微调（SFT）以保持对话能力。然而，CP和SFT可能会降低模型过滤有害内容的能力。我们提出了Instruction Continual Pre-training（InsCP），它将指令标签集成到CP过程中，以防止在获取新语言时丧失对话能力。实验表明，InsCP保留了对话和基于人类反馈的强化学习（RLHF）能力。在语言对齐、可靠性和知识基准上的实证评估证实了InsCP的有效性。值得注意的是，这种方法只需要0.1 billion tokens的高质量指令跟随数据，从而降低了资源消耗。

🔬 方法详解

问题定义：现有的大型语言模型主要集中在英语上，将其迁移到其他语言通常需要持续预训练（CP）和监督微调（SFT）。然而，CP和SFT可能会导致模型忘记之前的指令，降低过滤有害内容的能力，并损失对话能力。因此，如何高效地将LLM迁移到目标语言，同时保持其原有的对话能力和安全性是一个关键问题。

核心思路：InstructionCP的核心思路是在持续预训练阶段引入指令标签。通过在预训练数据中加入指令信息，模型可以在学习新语言的同时，继续学习和巩固指令遵循能力，从而避免在后续的微调过程中出现对话能力下降或安全性降低的问题。

技术框架：InstructionCP的技术框架主要包括以下几个阶段：1) 数据准备：收集包含指令标签的持续预训练数据，这些数据可以是目标语言的文本数据，并带有相应的指令标签。2) 持续预训练：使用带有指令标签的数据对LLM进行持续预训练，让模型学习目标语言的同时，保持对指令的理解和执行能力。3) 评估：在语言对齐、可靠性和知识基准上评估InstructionCP的效果，验证其在保持对话能力和安全性方面的优势。

关键创新：InstructionCP的关键创新在于将指令标签融入到持续预训练过程中。与传统的CP方法相比，InstructionCP能够更好地保留模型的对话能力和安全性，避免了在后续微调过程中出现的问题。此外，InstructionCP只需要少量的高质量指令跟随数据，降低了资源消耗。

关键设计：InstructionCP的关键设计包括：1) 指令标签的设计：选择合适的指令标签，例如“Translate to Chinese”、“Summarize the text”等，以指导模型学习目标语言和执行特定任务。2) 数据混合比例：合理设置带有指令标签的数据和普通数据的混合比例，以平衡语言学习和指令遵循能力。3) 损失函数：可以使用标准的语言模型损失函数，并根据需要添加额外的损失函数来鼓励模型更好地遵循指令。

🖼️ 关键图片

fig_0

📊 实验亮点

InstructionCP仅使用0.1 billion tokens的高质量指令跟随数据，即可有效提升LLM在目标语言上的表现，同时保留其对话和RLHF能力。实验结果表明，InstructionCP在语言对齐、可靠性和知识基准上均取得了显著的提升，验证了其在保持对话能力和安全性方面的优势。

🎯 应用场景

InstructionCP可应用于快速构建多语言LLM，尤其适用于资源受限的场景。该方法能有效提升LLM在特定语言环境下的表现，并保证其安全性和对话能力，可广泛应用于智能客服、机器翻译、跨语言信息检索等领域，促进全球范围内的信息交流和知识共享。

📄 摘要（原文）

The rapid development of large language models (LLMs) in recent years has largely focused on English, resulting in models that respond exclusively in English. To adapt these models to other languages, continual pre-training (CP) is often employed, followed by supervised fine-tuning (SFT) to maintain conversational abilities. However, CP and SFT can reduce a model's ability to filter harmful content. We propose Instruction Continual Pre-training (InsCP), which integrates instruction tags into the CP process to prevent loss of conversational proficiency while acquiring new languages. Our experiments demonstrate that InsCP retains conversational and Reinforcement Learning from Human Feedback (RLHF) abilities. Empirical evaluations on language alignment, reliability, and knowledge benchmarks confirm the efficacy of InsCP. Notably, this approach requires only 0.1 billion tokens of high-quality instruction-following data, thereby reducing resource consumption.