Exploring Continual Fine-Tuning for Enhancing Language Ability in Large Language Model

📄 arXiv: 2410.16006v1 📥 PDF

作者: Divyanshu Aggarwal, Sankarshan Damle, Navin Goyal, Satya Lokam, Sunayana Sitaram

分类: cs.CL

发布日期: 2024-10-21

备注: 19 pages, 6 tables, 4 figures

💡 一句话要点

提出持续微调方法以提升大语言模型的语言能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续微调 大语言模型 语言适应性 多语言数据集 任务能力 层冻结 生成重放

📋 核心要点

  1. 现有大语言模型在学习新语言时，容易影响其在已有语言上的表现，尤其是英语。
  2. 论文提出了一种两阶段的持续微调方法，第一阶段专注于任务能力，第二阶段则在多语言数据集上提升语言能力。
  3. 实验结果表明，任务相似性影响模型适应性，采用特定的CFT方法可有效提升语言能力而不损害任务性能。

📝 摘要（中文）

大语言模型（LLMs）在适应新语言时面临挑战，尤其是在不影响已有语言能力的情况下。本文探讨了通过持续微调（CFT）来增强LLMs的语言适应性。研究了一个两阶段的CFT过程，第一阶段为仅英语的微调，第二阶段则在多语言数据集上进行微调。结果表明，第二阶段任务与第一阶段的相似性决定了模型的适应能力。我们还分析了两种CFT方法的变体，以解决性能下降的问题，结果显示这些方法在提升语言能力的同时保持了任务性能。

🔬 方法详解

问题定义：本文旨在解决大语言模型在学习新语言时，如何避免影响其在已有语言上的性能这一具体问题。现有方法在多语言适应性上存在显著不足，尤其是在任务能力与语言能力之间的平衡。

核心思路：论文提出的核心思路是通过两阶段的持续微调，首先在英语上进行任务能力的微调，然后在多语言数据集上进行语言能力的提升。这样的设计旨在确保模型在新语言学习时不损失已有的任务能力。

技术框架：整体流程分为两个主要阶段：第一阶段是对英语的端到端微调，主要关注任务能力；第二阶段则是对多语言数据集的微调，旨在提升语言能力。每个阶段使用不同的数据集和任务，以实现最佳的适应性。

关键创新：最重要的技术创新在于提出了基于任务相似性的微调策略，明确了不同阶段任务间的相似性对模型适应性的影响。这一方法与传统的单一微调方法有本质区别，强调了阶段间的相互作用。

关键设计：在具体设计上，论文分析了两种CFT方法的变体：层冻结和生成重放，针对不同的任务相似性进行调整。这些方法的参数设置和损失函数设计经过精心选择，以确保在提升语言能力的同时，保持模型的任务性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在相似的阶段数据集上，经过第二阶段微调后，模型的任务能力没有下降。而在不相似的数据集上，模型的任务能力则出现了显著下降。通过层冻结和生成重放的变体，模型的语言能力得到了有效提升，同时保持了任务性能，相较于基线方法有明显改善。

🎯 应用场景

该研究的潜在应用场景包括多语言翻译、跨语言信息检索以及多语言对话系统等领域。通过提升大语言模型的语言适应性，可以更好地服务于全球用户，满足不同语言环境下的需求。未来，该方法有望推动大语言模型在多语言任务中的广泛应用，提升其实际价值。

📄 摘要（原文）

A common challenge towards the adaptability of Large Language Models (LLMs) is their ability to learn new languages over time without hampering the model's performance on languages in which the model is already proficient (usually English). Continual fine-tuning (CFT) is the process of sequentially fine-tuning an LLM to enable the model to adapt to downstream tasks with varying data distributions and time shifts. This paper focuses on the language adaptability of LLMs through CFT. We study a two-phase CFT process in which an English-only end-to-end fine-tuned LLM from Phase 1 (predominantly Task Ability) is sequentially fine-tuned on a multilingual dataset -- comprising task data in new languages -- in Phase 2 (predominantly Language Ability). We observe that the ``similarity'' of Phase 2 tasks with Phase 1 determines the LLM's adaptability. For similar phase-wise datasets, the LLM after Phase 2 does not show deterioration in task ability. In contrast, when the phase-wise datasets are not similar, the LLM's task ability deteriorates. We test our hypothesis on the open-source \mis\ and \llm\ models with multiple phase-wise dataset pairs. To address the deterioration, we analyze tailored variants of two CFT methods: layer freezing and generative replay. Our findings demonstrate their effectiveness in enhancing the language ability of LLMs while preserving task performance, in comparison to relevant baselines.