It's All About In-Context Learning! Teaching Extremely Low-Resource Languages to LLMs

📄 arXiv: 2508.19089v1 📥 PDF

作者: Yue Li, Zhixue Zhao, Carolina Scarton

分类: cs.CL

发布日期: 2025-08-26

备注: Accepted by EMNLP 2025

💡 一句话要点

提出基于上下文学习的方法以解决极低资源语言的支持问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 极低资源语言 上下文学习 大型语言模型 参数高效微调 语言对齐 多语言处理 机器学习

📋 核心要点

  1. 现有方法在极低资源语言的支持上存在显著不足，尤其是缺乏训练数据和书写系统的情况下。
  2. 论文提出通过上下文学习（ICL）来解决极低资源语言的学习问题，探索其与参数高效微调（PEFT）的比较。
  3. 实验结果表明，零-shot ICL结合语言对齐在极低资源语言上表现优异，而PEFT在相对较好表现的语言上更具优势。

📝 摘要（中文）

极低资源语言，尤其是那些使用稀有书写系统的语言，仍然在大型语言模型（LLMs）中缺乏支持，部分原因是缺乏训练数据。本文首次全面分析了LLMs是否可以通过上下文学习（ICL）纯粹掌握这些语言，并与参数高效微调（PEFT）进行比较。我们系统评估了20种代表性不足的语言在三种最先进的多语言LLMs上的表现。研究结果显示，当语言及其书写系统在LLM中极度缺乏时，PEFT的效果有限，而零-shot ICL结合语言对齐在极低资源语言上表现出色。相对而言，few-shot ICL或PEFT更适合相对较好表现的语言。

🔬 方法详解

问题定义：本文旨在解决极低资源语言在大型语言模型中的支持不足，现有方法如PEFT在这些语言上效果不佳，尤其是当语言及其书写系统极度缺乏时。

核心思路：论文的核心思路是利用上下文学习（ICL）来让LLMs学习极低资源语言，探索其在没有辅助对齐信号的情况下的有效性，并与PEFT进行比较。

技术框架：整体架构包括对20种代表性不足语言的系统评估，使用三种最先进的多语言LLMs进行实验，比较不同学习策略的效果。

关键创新：最重要的技术创新点在于首次系统性地分析了ICL在极低资源语言学习中的有效性，特别是在缺乏训练数据的情况下，展示了其相较于PEFT的优势。

关键设计：在实验中，采用了零-shot和few-shot ICL策略，结合语言对齐信号进行评估，确保了对不同语言表现的全面分析。

📊 实验亮点

实验结果显示，零-shot ICL结合语言对齐在极低资源语言上取得了显著效果，相较于PEFT，表现提升幅度明显。具体而言，在某些语言上，ICL的表现超过了传统的微调方法，展示了其在低资源环境中的潜力。

🎯 应用场景

该研究的潜在应用领域包括语言保护、教育和翻译等，尤其是在支持那些极低资源语言的技术开发中具有重要价值。通过提升LLMs对这些语言的理解能力，可以促进文化多样性和信息获取的公平性，未来可能影响语言学习和跨文化交流的方式。

📄 摘要（原文）

Extremely low-resource languages, especially those written in rare scripts, as shown in Figure 1, remain largely unsupported by large language models (LLMs). This is due in part to compounding factors such as the lack of training data. This paper delivers the first comprehensive analysis of whether LLMs can acquire such languages purely via in-context learning (ICL), with or without auxiliary alignment signals, and how these methods compare to parameter-efficient fine-tuning (PEFT). We systematically evaluate 20 under-represented languages across three state-of-the-art multilingual LLMs. Our findings highlight the limitation of PEFT when both language and its script are extremely under-represented by the LLM. In contrast, zero-shot ICL with language alignment is impressively effective on extremely low-resource languages, while few-shot ICL or PEFT is more beneficial for languages relatively better represented by LLMs. For LLM practitioners working on extremely low-resource languages, we summarise guidelines grounded by our results on adapting LLMs to low-resource languages, e.g., avoiding fine-tuning a multilingual model on languages of unseen scripts.