Parameter-Efficient Adaptation of Large Language Models to a Low-Resource Agglutinative Language: A Corpus, Datasets, and a Reproducible Benchmark for the Bashkir Language

📄 arXiv: 2610.31397v1 📥 PDF

作者: Mullosharaf K. Arabov, Svetlana S. Khaybullina

分类: cs.CL

发布日期: 2026-10-22

备注: Preprint. 29 pages, 1 figure, 17 tables

💡 一句话要点

提出低资源语言Bashkir的高效适应方法以改善LLM表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低资源语言 Bashkir语言 大型语言模型 QLoRA 文本分类 持续预训练 适应方法 语料库

📋 核心要点

  1. Bashkir语言在现代大型语言模型中表现不足，缺乏足够的资源和数据支持。
  2. 提出了Bashkir网络语料库和三个标注数据集，并系统评估了多种适应方法的效果。
  3. 实验结果显示，QLoRA在二分类任务中显著优于传统微调方法，且YandexGPT-5-Lite-8B在多分类任务中表现突出。

📝 摘要（中文）

Bashkir是一种低资源的粘着语，使用西里尔字母书写，现代大型语言模型（LLMs）对其支持不足。本文提供了一个开放资源套件和适应方法的系统基准，包括Bashkir网络语料库（71,567篇文档，46.9M标记，16个来源）及三个用于二分类、多分类和多标签文本分类的标注数据集。实验使用了八种架构（82M-8B：DistilGPT2、GPT-2 base/medium、Phi-3-mini、Mistral-7B、YandexGPT-5-Lite-8B、mBERT、XLM-R）和三种适应组（完全微调、QLoRA、上下文学习），以及持续预训练（CPT）。结果表明，QLoRA在3.8-8B模型上在二分类任务中优于编码器微调，YandexGPT-5-Lite-8B在多分类任务中表现显著优于其他模型。所有成果均为开放许可。

🔬 方法详解

问题定义：本文旨在解决Bashkir语言在大型语言模型中的适应性不足问题，现有方法在低资源语言处理上效果不佳，缺乏有效的适应策略。

核心思路：通过构建Bashkir网络语料库和标注数据集，结合QLoRA和持续预训练等方法，提升模型在Bashkir语言上的表现。

技术框架：整体架构包括数据收集、模型选择、适应方法实施和效果评估四个主要模块，采用多种模型架构进行实验。

关键创新：引入QLoRA作为适应方法，在低资源语言的二分类任务中显著提升性能，且首次系统性评估了多种适应策略的效果。

关键设计：在模型训练中，采用了不同的参数设置和损失函数，特别是QLoRA在3.8-8B模型上的应用，优化了模型在特定任务上的表现。实验中还考虑了持续预训练对不同模型的影响。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，QLoRA在3.8-8B模型上在二分类任务中取得了显著提升，YandexGPT-5-Lite-8B在多分类任务中表现优于Mistral-7B和Phi-3-mini，宏F1值分别为0.748和3.28，且统计显著性达到p<0.001。

🎯 应用场景

该研究为低资源语言的自然语言处理提供了新的思路和方法，尤其适用于需要快速适应新语言的场景，如翻译、文本分类和信息检索等。未来，随着更多低资源语言的研究，可能会推动相关技术的广泛应用。

📄 摘要（原文）

Bashkir is a low-resource agglutinative language written in Cyrillic and remains poorly represented in modern LLMs. We present an open resource suite and a systematic benchmark of adaptation methods: the Bashkir Web Corpus (71,567 documents, 46.9M tokens, 16 sources) and three labelled datasets for binary, multiclass and multilabel text classification; the benchmark covers the first two. Experiments use eight architectures (82M-8B: DistilGPT2, GPT-2 base/medium, Phi-3-mini, Mistral-7B, YandexGPT-5-Lite-8B, mBERT, XLM-R) and three adaptation groups (full fine-tuning, QLoRA, in-context learning), plus continual pretraining (CPT). (1) QLoRA on 3.8-8B models outperforms encoder-only fine-tuning on binary classification: YandexGPT-5-Lite-8B with CPT reaches macro-F1 0.748 vs 0.653 (XLM-R) and 0.650 (mBERT); pairwise differences are significant after Holm correction (p<0.001). (2) YandexGPT-5-Lite-8B significantly outperforms Mistral-7B and Phi-3-mini on multiclass classification, BPB and native-speaker ratings (mean 3.28 vs 2.52 and 2.22; n=100; alpha=0.69-0.77; p<0.05); on binary classification its QLoRA advantage is not significant (p>=0.084). (3) CPT effects depend on model and task: perplexity improves for Phi-3-mini (+0.58) and YandexGPT-5-Lite-8B (+0.33) but worsens for Mistral-7B (-1.15, p<0.001); on binary classification CPT helps Mistral-7B most (+4.0 macro-F1). (4) Tokeniser fertility on Bashkir varies 2.67x (2.92-7.80) and tracks adaptation quality, while perplexity across tokenisers is not comparable. Cyrillic tokenisers with Russian pretraining are preferable; LLM judges reproduce native ratings for grammar and coherence (rho=0.33-0.46) but not language correctness (rho=0.16, p=0.11); native evaluation remains necessary. All artefacts are open-licensed.