Extracting and Combining Abilities For Building Multi-lingual Ability-enhanced Large Language Models

📄 arXiv: 2410.07825v3 📥 PDF

作者: Zhipeng Chen, Kun Zhou, Liang Song, Wayne Xin Zhao, Bingning Wang, Weipeng Chen, Ji-Rong Wen

分类: cs.CL

发布日期: 2024-10-10 (更新: 2025-09-06)

备注: EMNLP 2025 Main Conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出MAEC方法，无需训练即可为大语言模型赋予多语言能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言能力迁移 大语言模型 低资源语言 权重提取 能力组合

📋 核心要点

  1. 现有方法依赖多语言数据训练，低资源语言数据匮乏，限制了多语言能力迁移。
  2. MAEC分解并提取LLM中与语言无关的能力权重，通过加减运算组合不同语言的能力。
  3. 实验表明，MAEC能有效提升LLaMA-3 8B在数学和科学任务上的多语言能力，性能媲美PaLM。

📝 摘要（中文）

多语言能力迁移对于大语言模型（LLMs）的广泛应用变得越来越重要。现有工作高度依赖于多语言能力相关数据的训练，而低资源语言可能无法获得这些数据。为了解决这个问题，我们提出了一种多语言能力提取和组合方法，名为MAEC。我们的核心思想是从LLMs中分解和提取与语言无关的能力相关权重，并通过简单的加减运算在不同语言之间组合它们，而无需训练。具体来说，我们的MAEC包括提取和组合两个阶段。在提取阶段，我们首先定位与特定能力高度相关的关键神经元，然后利用它们来提取可迁移的能力相关权重。在组合阶段，我们进一步选择能够减轻语言影响的能力相关张量，并基于它们和特定语言的权重设计一种组合策略，以构建多语言能力增强的LLM。为了评估我们方法的有效性，我们对LLaMA-3 8B进行了广泛的实验，涵盖高资源和低资源语言场景下的数学和科学任务。实验结果表明，MAEC能够有效且高效地提取和组合高级能力，达到与PaLM相当的性能。资源可在https://github.com/RUCAIBox/MAET获取。

🔬 方法详解

问题定义：现有的大语言模型多语言能力迁移方法，主要依赖于使用多语言相关的数据进行训练。然而，对于低资源语言来说，高质量的多语言训练数据往往难以获取，这限制了这些模型在低资源语言环境下的应用。因此，如何有效地将高资源语言的能力迁移到低资源语言，同时避免对低资源语言进行大量训练，是一个亟待解决的问题。

核心思路：MAEC的核心思路是将大语言模型中与特定能力相关的知识解耦为语言无关的权重和语言相关的权重。通过提取语言无关的能力权重，并将其以加减的方式组合到目标语言的模型中，从而实现能力的迁移。这种方法避免了直接在目标语言上进行训练，从而解决了低资源语言数据不足的问题。设计的关键在于如何准确地提取和组合这些权重，以保证迁移后的模型能够有效地执行目标任务。

技术框架：MAEC方法主要包含两个阶段：提取阶段和组合阶段。在提取阶段，首先需要定位模型中与特定能力相关的关键神经元。然后，利用这些神经元提取可迁移的能力相关权重。在组合阶段，选择能够减轻语言影响的能力相关张量，并基于这些张量和特定语言的权重设计一种组合策略，最终构建多语言能力增强的大语言模型。整个框架无需额外的训练过程。

关键创新：MAEC的关键创新在于提出了一种无需训练即可实现多语言能力迁移的方法。与以往依赖数据训练的方法不同，MAEC通过分解和组合模型中的权重，实现了能力的跨语言迁移。这种方法特别适用于低资源语言，因为它避免了对低资源语言数据的依赖。此外，MAEC还提出了一种选择性组合策略，能够有效地减轻语言差异对能力迁移的影响。

关键设计：在提取阶段，论文采用了一种基于神经元重要性的方法来定位关键神经元。具体来说，通过分析神经元激活值与特定任务性能之间的相关性，来确定哪些神经元对该任务最为重要。在组合阶段，论文设计了一种基于张量选择的策略，选择那些受语言影响较小的张量进行组合。组合的方式采用简单的加减运算，以保证计算效率。此外，论文还探索了不同的权重组合比例，以优化迁移后的模型性能。具体的参数设置和损失函数细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAEC方法在LLaMA-3 8B模型上，能够有效提升其在数学和科学任务上的多语言能力，在高资源和低资源语言场景下均取得了显著的性能提升。尤其值得注意的是，MAEC在某些任务上达到了与PaLM模型相当的性能水平，而无需进行任何训练。

🎯 应用场景

该研究成果可应用于构建更强大的多语言大语言模型，尤其是在低资源语言场景下。例如，可以提升机器翻译、跨语言信息检索、多语言内容生成等任务的性能。此外，该方法还可以用于快速定制特定语言的大语言模型，降低训练成本，加速模型部署。

📄 摘要（原文）

Multi-lingual ability transfer has become increasingly important for the broad application of large language models (LLMs). Existing work highly relies on training with the multi-lingual ability-related data, which may not be available for low-resource languages. To solve it, we propose a Multi-lingual Abilities Extraction and Combination approach, named as MAEC. Our key idea is to decompose and extract language-agnostic ability-related weights from LLMs, and combine them across different languages by simple addition and subtraction operations without training. Specifically, our MAEC consists of the extraction and combination stages. In the extraction stage, we firstly locate key neurons that are highly related to specific abilities, and then employ them to extract the transferable ability-related weights. In the combination stage, we further select the ability-related tensors that mitigate the linguistic effects, and design a combining strategy based on them and the language-specific weights, to build the multi-lingual ability-enhanced LLM. To assess the effectiveness of our approach, we conduct extensive experiments on LLaMA-3 8B on mathematical and scientific tasks in both high-resource and low-resource lingual scenarios. Experiment results have shown that MAEC can effectively and efficiently extract and combine the advanced abilities, achieving comparable performance with PaLM. Resources are available at https://github.com/RUCAIBox/MAET.