A Post-trainer's Guide to Multilingual Training Data: Uncovering Cross-lingual Transfer Dynamics

📄 arXiv: 2504.16677v1 📥 PDF

作者: Luisa Shimabucoro, Ahmet Ustun, Marzieh Fadaee, Sebastian Ruder

分类: cs.CL, cs.AI

发布日期: 2025-04-23

💡 一句话要点

揭示多语言训练数据中的跨语言迁移动态，为后训练提供指导。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言训练 跨语言迁移 大型语言模型 指令调优 后训练

📋 核心要点

  1. 现有大型语言模型的多语言后训练缺乏对跨语言迁移动态的深入理解。
  2. 本研究通过控制多语言数据混合，考察不同任务和模型规模下的跨语言迁移。
  3. 研究发现跨语言迁移动态复杂，受多种因素影响，并总结了有效迁移的条件。

📝 摘要（中文）

为了使大型语言模型在全球范围内可用，通常会使用多语言数据对其进行微调以遵循指令。尽管这种后训练非常普遍，但对于实现跨语言迁移(CLT)的动态机制的清晰理解仍然难以捉摸。本研究考察了实际后训练环境中的跨语言迁移动态。我们研究了两个模型家族，其参数大小高达350亿，这些模型在精心控制的多语言数据混合上进行了训练，涉及三个不同复杂程度的生成任务（摘要、指令遵循和数学推理），包括单任务和多任务指令调优设置。总的来说，我们发现跨语言迁移和多语言性能的动态不能用孤立的变量来解释，而是取决于后训练设置的组合。最后，我们确定了在实践中实现有效跨语言迁移的条件。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在多语言后训练中，跨语言迁移(CLT)动态机制不明确的问题。现有方法缺乏对影响CLT的关键因素的系统性分析，难以指导实际应用中的多语言模型训练。

核心思路：论文的核心思路是通过控制多语言训练数据的混合比例，在不同任务和模型规模下，系统性地研究CLT的动态变化。通过分析不同因素对CLT的影响，揭示实现有效CLT的条件。

技术框架：研究采用两类参数规模高达350亿的大型语言模型，在三种生成任务（摘要、指令遵循、数学推理）上进行实验。实验设置包括单任务和多任务指令调优。通过控制训练数据中不同语言的比例，观察模型在目标语言上的性能表现。

关键创新：论文的创新在于对CLT动态进行了系统性的实证研究，揭示了CLT并非由单一因素决定，而是受到多种因素复杂交互的影响。通过大量实验，论文为实际应用中如何有效利用多语言数据进行模型训练提供了指导。

关键设计：论文的关键设计包括：1) 精心控制的多语言数据混合比例；2) 涵盖不同复杂程度的生成任务；3) 采用不同规模的模型进行对比实验；4) 细致的实验结果分析，揭示不同因素对CLT的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现跨语言迁移的动态并非由孤立变量决定，而是取决于后训练设置的组合。论文通过实验确定了在实践中实现有效跨语言迁移的条件，为多语言模型训练提供了宝贵的经验指导。实验涵盖了高达350亿参数的模型，以及摘要、指令遵循和数学推理等多种任务。

🎯 应用场景

该研究成果可应用于提升多语言大型语言模型的性能，尤其是在资源匮乏语言上的表现。通过理解跨语言迁移的动态，可以更有效地利用多语言数据进行模型训练，降低训练成本，并促进全球范围内的语言模型应用。该研究对多语言自然语言处理具有重要的指导意义。

📄 摘要（原文）

In order for large language models to be useful across the globe, they are fine-tuned to follow instructions on multilingual data. Despite the ubiquity of such post-training, a clear understanding of the dynamics that enable cross-lingual transfer remains elusive. This study examines cross-lingual transfer (CLT) dynamics in realistic post-training settings. We study two model families of up to 35B parameters in size trained on carefully controlled mixtures of multilingual data on three generative tasks with varying levels of complexity (summarization, instruction following, and mathematical reasoning) in both single-task and multi-task instruction tuning settings. Overall, we find that the dynamics of cross-lingual transfer and multilingual performance cannot be explained by isolated variables, varying depending on the combination of post-training settings. Finally, we identify the conditions that lead to effective cross-lingual transfer in practice.