Zero-Shot Cross-Lingual Transfer using Prefix-Based Adaptation

📄 arXiv: 2510.24619v1 📥 PDF

作者: Snegha A, Sayambhu Sen, Piyush Singh Pasi, Abhishek Singhania, Preethi Jyothi

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-10-28

备注: 12 Pages

💡 一句话要点

提出基于前缀的自适应方法，实现大语言模型零样本跨语言迁移。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 零样本学习 跨语言迁移 大型语言模型 参数高效微调 前缀调整

📋 核心要点

  1. 现有方法难以将仅解码器的大语言模型有效迁移到跨语言的新任务中，尤其是在零样本场景下。
  2. 论文探索了基于前缀的参数高效微调方法，通过调整少量前缀参数，实现模型在不同语言间的知识迁移。
  3. 实验表明，基于前缀的方法在零样本跨语言迁移任务上优于LoRA等基线方法，尤其是在低资源语言上。

📝 摘要（中文）

随着Llama和Mistral等新型大型语言模型（LLM）的发布，由于它们的多语言预训练和强大的泛化能力，零样本跨语言迁移变得越来越可行。然而，将这些仅解码器的LLM适应于跨语言的新任务仍然具有挑战性。虽然像Low-Rank Adaptation (LoRA)这样的参数高效微调（PeFT）技术被广泛使用，但基于前缀的技术，如软提示调整、前缀调整和Llama Adapter，探索较少，尤其是在仅解码器模型中的零样本迁移方面。我们对三种基于前缀的方法进行了全面研究，用于从英语到35+种高资源和低资源语言的零样本跨语言迁移。我们的分析进一步探讨了跨语言家族和脚本的迁移，以及从1B到24B的模型规模的影响。在使用Llama 3.1 8B时，前缀方法在Belebele基准测试中优于LoRA基线高达6%。在使用Mistral v0.3 7B时也观察到了类似的改进。尽管使用前缀调整仅使用了1.23M的学习参数，但我们在不同的基准测试中实现了持续的改进。这些发现突出了前缀技术作为LoRA的一种有效且可扩展的替代方案的潜力，尤其是在低资源多语言环境中。

🔬 方法详解

问题定义：论文旨在解决大型语言模型在零样本跨语言迁移中的适应性问题。现有方法，如LoRA，虽然参数高效，但在仅解码器模型上，基于前缀的微调方法（如软提示调整、前缀调整和Llama Adapter）的潜力尚未充分挖掘，尤其是在低资源语言环境中。

核心思路：论文的核心思路是利用基于前缀的微调方法，通过在输入序列前添加可学习的前缀向量，引导模型适应新的语言和任务。这种方法仅需调整少量参数，即可实现有效的知识迁移，避免了对整个模型进行微调。

技术框架：整体框架包括一个预训练的仅解码器大型语言模型（如Llama或Mistral），以及一个可学习的前缀模块。在训练过程中，模型保持不变，只更新前缀模块的参数。推理时，将学习到的前缀添加到输入序列中，模型即可生成目标语言的文本。

关键创新：论文的关键创新在于系统性地研究了多种基于前缀的微调方法在零样本跨语言迁移中的性能，并证明了其优于LoRA等方法的潜力。此外，论文还分析了模型规模、语言家族和脚本对迁移效果的影响。

关键设计：论文比较了软提示调整、前缀调整和Llama Adapter三种前缀方法。关键设计包括前缀的长度、维度，以及优化器的选择。实验中使用了AdamW优化器，并对学习率进行了调整。损失函数为标准的交叉熵损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在使用Llama 3.1 8B模型时，基于前缀的方法在Belebele基准测试中优于LoRA基线高达6%。在使用Mistral v0.3 7B模型时也观察到了类似的改进。即使仅使用1.23M的学习参数，该方法在多个基准测试中都取得了持续的性能提升。

🎯 应用场景

该研究成果可应用于机器翻译、跨语言信息检索、多语言文本生成等领域。尤其在低资源语言场景下，该方法能够以较低的成本实现较好的跨语言迁移效果，有助于推动多语言自然语言处理技术的发展和应用。

📄 摘要（原文）

With the release of new large language models (LLMs) like Llama and Mistral, zero-shot cross-lingual transfer has become increasingly feasible due to their multilingual pretraining and strong generalization capabilities. However, adapting these decoder-only LLMs to new tasks across languages remains challenging. While parameter-efficient fine-tuning (PeFT) techniques like Low-Rank Adaptation (LoRA) are widely used, prefix-based techniques such as soft prompt tuning, prefix tuning, and Llama Adapter are less explored, especially for zero-shot transfer in decoder-only models. We present a comprehensive study of three prefix-based methods for zero-shot cross-lingual transfer from English to 35+ high- and low-resource languages. Our analysis further explores transfer across linguistic families and scripts, as well as the impact of scaling model sizes from 1B to 24B. With Llama 3.1 8B, prefix methods outperform LoRA-baselines by up to 6% on the Belebele benchmark. Similar improvements were observed with Mistral v0.3 7B as well. Despite using only 1.23M learning parameters with prefix tuning, we achieve consistent improvements across diverse benchmarks. These findings highlight the potential of prefix-based techniques as an effective and scalable alternative to LoRA, particularly in low-resource multilingual settings.