MindMerger: Efficient Boosting LLM Reasoning in non-English Languages

📄 arXiv: 2405.17386v1 📥 PDF

作者: Zixian Huang, Wenhao Zhu, Gong Cheng, Lei Li, Fei Yuan

分类: cs.CL, cs.AI

发布日期: 2024-05-27

💡 一句话要点

MindMerger：高效提升LLM在非英语语言中的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言推理 大型语言模型 知识融合 低资源语言 语言理解

📋 核心要点

  1. 现有方法在提升LLM非英语推理能力时，未能充分利用模型自身已有的推理和语言理解能力。
  2. MindMerger通过融合LLM自身能力和多语言模型的外部语言理解能力，提升多语言推理性能。
  3. 实验表明，MindMerger在多语言推理数据集上显著优于现有方法，尤其是在低资源语言上表现突出。

📝 摘要（中文）

大型语言模型(LLM)的推理能力至关重要，但英语和非英语语言之间存在显著差距。为了弥合这一差距，一些工作微调LLM以重新学习非英语语言的推理能力，而另一些工作则用外部模型的输出（例如英语翻译文本）替换非英语输入，以规避LLM理解非英语的挑战。然而，这些方法通常未能充分利用LLM内置的熟练推理和有用的语言理解能力。为了更好地利用LLM中的推理和语言理解能力，我们提出了一种新方法，即MindMerger，它将LLM与来自多语言模型的外部语言理解能力相结合，以提高多语言推理性能。此外，还引入了一个两步训练方案，首先训练将外部能力嵌入到LLM中，然后训练外部能力和LLM中的内置能力的协同利用。在三个多语言推理数据集和一个语言理解数据集上的实验表明，MindMerger始终优于所有基线，尤其是在低资源语言中。在不更新LLM参数的情况下，在MGSM数据集上，所有语言和低资源语言的平均准确率分别提高了6.7%和8.0%。

🔬 方法详解

问题定义：论文旨在解决LLM在非英语语言推理能力不足的问题。现有方法，如微调或翻译输入，要么忽略了LLM自身的能力，要么引入了额外的翻译误差，未能有效利用LLM固有的推理和语言理解能力。

核心思路：论文的核心思路是将外部多语言模型的语言理解能力“融合”到LLM中，从而增强LLM在非英语语言环境下的推理能力。这种方法旨在更好地利用LLM自身已有的推理能力，并结合外部模型的语言理解优势。

技术框架：MindMerger包含一个两步训练方案。第一步，训练LLM以嵌入外部多语言模型的语言理解能力。第二步，训练LLM协同利用其内置的推理能力和嵌入的外部语言理解能力。具体来说，可能涉及使用特定的损失函数来鼓励LLM学习如何有效地利用外部信息。

关键创新：该方法的核心创新在于“融合”的思想，即不直接替换LLM的输入，而是将外部模型的语言理解能力整合到LLM内部，使其能够更好地理解和处理非英语语言的推理任务。这种方法避免了翻译带来的信息损失，并充分利用了LLM自身的推理能力。

关键设计：具体的技术细节（如参数设置、损失函数、网络结构等）在摘要中没有详细说明，属于未知信息。但可以推测，损失函数的设计可能需要考虑如何平衡LLM自身的推理能力和外部语言理解能力的贡献，以及如何避免外部信息对LLM原有能力的干扰。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MindMerger在三个多语言推理数据集和一个语言理解数据集上均优于所有基线方法。在MGSM数据集上，MindMerger在不更新LLM参数的情况下，所有语言和低资源语言的平均准确率分别提高了6.7%和8.0%。这些结果表明，MindMerger能够有效地提升LLM在非英语语言中的推理能力，尤其是在低资源语言中表现突出。

🎯 应用场景

MindMerger具有广泛的应用前景，可用于提升LLM在各种非英语语言环境下的性能，例如多语言客服、跨语言信息检索、多语言内容生成等。该方法尤其适用于低资源语言，有助于弥合不同语言之间的技术差距，促进全球范围内的信息交流和知识共享。未来，该方法有望应用于更复杂的跨语言任务，例如机器翻译和跨语言对话。

📄 摘要（原文）

Reasoning capabilities are crucial for Large Language Models (LLMs), yet a notable gap exists between English and non-English languages. To bridge this disparity, some works fine-tune LLMs to relearn reasoning capabilities in non-English languages, while others replace non-English inputs with an external model's outputs such as English translation text to circumvent the challenge of LLM understanding non-English. Unfortunately, these methods often underutilize the built-in skilled reasoning and useful language understanding capabilities of LLMs. In order to better utilize the minds of reasoning and language understanding in LLMs, we propose a new method, namely MindMerger, which merges LLMs with the external language understanding capabilities from multilingual models to boost the multilingual reasoning performance. Furthermore, a two-step training scheme is introduced to first train to embeded the external capabilities into LLMs and then train the collaborative utilization of the external capabilities and the built-in capabilities in LLMs. Experiments on three multilingual reasoning datasets and a language understanding dataset demonstrate that MindMerger consistently outperforms all baselines, especially in low-resource languages. Without updating the parameters of LLMs, the average accuracy improved by 6.7% and 8.0% across all languages and low-resource languages on the MGSM dataset, respectively.