Enhancing LLM Language Adaption through Cross-lingual In-Context Pre-training

📄 arXiv: 2504.20484v2 📥 PDF

作者: Linjuan Wu, Haoran Wei, Huan Lin, Tianhao Li, Baosong Yang, Fei Huang, Weiming Lu

分类: cs.CL

发布日期: 2025-04-29 (更新: 2025-09-19)

备注: 12 pages, 6 figures, EMNLP 2025

💡 一句话要点

提出CrossIC-PT，通过跨语言上下文预训练增强LLM的语言适应能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 跨语言学习 上下文预训练 大型语言模型 非平行语料 机器翻译

📋 核心要点

  1. 现有跨语言迁移方法受限于并行资源，导致语言和领域覆盖不足，影响了LLM的多语言能力。
  2. CrossIC-PT通过交错语义相关的双语文本进行上下文预训练，利用下一个词预测增强跨语言迁移能力。
  3. 实验表明，CrossIC-PT在多个模型和语言上均有性能提升，数据增强后效果更佳，验证了方法的有效性。

📝 摘要（中文）

大型语言模型（LLMs）尽管主要以英语进行预训练，但仍表现出卓越的多语言能力，这归功于预训练期间的跨语言机制。现有的跨语言迁移增强方法仍然受到并行资源的限制，面临着语言和领域覆盖范围有限的问题。我们提出了跨语言上下文预训练（CrossIC-PT），这是一种简单且可扩展的方法，通过简单的下一个词预测，利用语义相关的双语文本来增强跨语言迁移。我们通过将语义相关的双语维基百科文档交错到单个上下文窗口中来构建CrossIC-PT样本。为了适应窗口大小的限制，我们实施了一种系统的分割策略，将长的双语文档对分割成块，同时调整滑动窗口机制以保持上下文连贯性。我们还通过语义检索框架扩展了数据可用性，以从网络爬取的语料库中构建CrossIC-PT样本。实验结果表明，CrossIC-PT提高了三种模型（Llama-3.1-8B、Qwen2.5-7B和Qwen2.5-1.5B）在六种目标语言上的多语言性能，分别产生了3.79%、3.99%和1.95%的性能提升，并在数据增强后获得了额外的改进。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在跨语言迁移学习中，由于现有方法依赖有限的并行资源而导致的语言和领域覆盖不足的问题。现有方法难以充分利用非平行语料，限制了模型在多种语言环境下的泛化能力。

核心思路：论文的核心思路是利用语义相关的双语文本，通过上下文学习的方式，让模型学习不同语言之间的对应关系。通过将双语文档交错排列，并使用下一个词预测任务进行训练，模型能够更好地理解和生成不同语言的文本。这种方法避免了对大规模平行语料的依赖，可以更有效地利用现有的非平行语料。

技术框架：CrossIC-PT的技术框架主要包括以下几个阶段：1) 数据构建：从维基百科等来源获取语义相关的双语文档。2) 文档分割：为了适应模型上下文窗口的限制，使用系统性的分割策略将长文档分割成块，并调整滑动窗口以保持上下文连贯性。3) 上下文交错：将分割后的双语文档块交错排列，形成CrossIC-PT的训练样本。4) 模型训练：使用下一个词预测任务对LLM进行训练，使其学习跨语言的上下文信息。5) 数据增强：通过语义检索框架从网络爬取的语料库中构建额外的CrossIC-PT样本，进一步提升模型的性能。

关键创新：该论文的关键创新在于提出了CrossIC-PT方法，它通过跨语言上下文预训练，有效地利用了非平行语料，增强了LLM的跨语言迁移能力。与现有方法相比，CrossIC-PT不需要大规模的平行语料，可以更灵活地应用于各种语言环境。此外，该方法还提出了一种系统性的文档分割策略，以适应模型上下文窗口的限制，并保持上下文的连贯性。

关键设计：在数据构建方面，论文采用了语义检索框架，从网络爬取的语料库中获取语义相关的双语文档，以扩展数据可用性。在文档分割方面，论文设计了一种滑动窗口机制，以保持上下文的连贯性。在模型训练方面，论文采用了标准的下一个词预测任务，并使用交叉熵损失函数进行优化。具体的参数设置和网络结构与所使用的LLM（如Llama-3.1-8B、Qwen2.5-7B和Qwen2.5-1.5B）保持一致。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CrossIC-PT在Llama-3.1-8B、Qwen2.5-7B和Qwen2.5-1.5B三个模型上，分别实现了3.79%、3.99%和1.95%的平均性能提升。在数据增强后，性能得到了进一步的提升。这些结果表明，CrossIC-PT是一种有效的跨语言迁移学习方法，能够显著提高LLM的多语言能力。

🎯 应用场景

CrossIC-PT方法可广泛应用于多语言机器翻译、跨语言信息检索、多语言文本生成等领域。该方法能够提升LLM在低资源语言环境下的性能，促进全球范围内的信息交流和知识共享。未来，该方法有望应用于智能客服、跨境电商等场景，为用户提供更加便捷和高效的多语言服务。

📄 摘要（原文）

Large language models (LLMs) exhibit remarkable multilingual capabilities despite English-dominated pre-training, attributed to cross-lingual mechanisms during pre-training. Existing methods for enhancing cross-lingual transfer remain constrained by parallel resources, suffering from limited linguistic and domain coverage. We propose Cross-lingual In-context Pre-training (CrossIC-PT), a simple and scalable approach that enhances cross-lingual transfer by leveraging semantically related bilingual texts via simple next-word prediction. We construct CrossIC-PT samples by interleaving semantic-related bilingual Wikipedia documents into a single context window. To access window size constraints, we implement a systematic segmentation policy to split long bilingual document pairs into chunks while adjusting the sliding window mechanism to preserve contextual coherence. We further extend data availability through a semantic retrieval framework to construct CrossIC-PT samples from web-crawled corpus. Experimental results demonstrate that CrossIC-PT improves multilingual performance on three models (Llama-3.1-8B, Qwen2.5-7B, and Qwen2.5-1.5B) across six target languages, yielding performance gains of 3.79%, 3.99%, and 1.95%, respectively, with additional improvements after data augmentation.