LuxIT: A Luxembourgish Instruction Tuning Dataset from Monolingual Seed Data

📄 arXiv: 2510.24434v1 📥 PDF

作者: Julian Valline, Cedric Lothritz, Jordi Cabot

分类: cs.CL

发布日期: 2025-10-28

💡 一句话要点

LuxIT：一种基于单语种子数据的卢森堡语指令微调数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令微调 低资源语言 卢森堡语 数据合成 LLM-as-a-judge

📋 核心要点

  1. 低资源语言缺乏高质量训练数据，限制了指令微调LLM的效果。
  2. 提出LuxIT，一种基于卢森堡语单语语料库合成的指令微调数据集。
  3. 使用LuxIT微调小型LLM，但基准测试结果表明性能提升不一致，需进一步优化。

📝 摘要（中文）

由于缺乏高质量的训练数据，指令微调的大型语言模型（LLMs）在低资源语言环境中的有效性通常受到限制。我们介绍了LuxIT，这是一个为卢森堡语开发的新型单语指令微调数据集，旨在缓解这一挑战。我们利用DeepSeek-R1-0528（因其在卢森堡语方面的熟练程度而被选中）从卢森堡语本地文本语料库中合成数据集。生成后，我们采用LLM-as-a-judge方法进行质量保证。为了研究数据集的实际效用，我们在LuxIT上微调了几个较小规模的LLM。然而，随后针对卢森堡语语言能力考试进行的基准测试表明，与基础模型相比，结果好坏参半，不同模型的性能差异显著。LuxIT代表了对卢森堡语自然语言处理的重要贡献，并提供了一种可复制的单语方法，但我们的发现强调需要进一步研究以优化其应用。

🔬 方法详解

问题定义：论文旨在解决卢森堡语等低资源语言缺乏高质量指令微调数据的问题。现有方法要么依赖于机器翻译，要么需要大量人工标注，成本高昂且质量难以保证。这限制了LLM在这些语言环境中的应用。

核心思路：论文的核心思路是利用在卢森堡语方面表现出色的现有LLM（DeepSeek-R1-0528）作为生成器，从单语语料库中自动合成指令微调数据。这种方法降低了数据获取的成本，并避免了机器翻译可能引入的噪声。

技术框架：整体流程包括以下几个阶段：1) 收集卢森堡语单语文本语料库；2) 使用DeepSeek-R1-0528基于语料库生成指令-响应对；3) 使用LLM-as-a-judge方法对生成的数据进行质量评估和过滤；4) 使用高质量的LuxIT数据集微调小型LLM；5) 在卢森堡语语言能力考试上对微调后的模型进行基准测试。

关键创新：关键创新在于提出了一种完全基于单语数据和LLM自动生成指令微调数据的方法，避免了对平行语料或大量人工标注的依赖。此外，使用LLM-as-a-judge进行质量评估也提高了数据质量。

关键设计：论文使用了DeepSeek-R1-0528作为数据生成器，并采用LLM-as-a-judge方法进行质量评估，但具体的prompt设计、损失函数、网络结构等技术细节未详细描述。数据集的规模和构成也未明确说明。

🖼️ 关键图片

fig_0

📊 实验亮点

论文构建了LuxIT数据集，并在其上微调了小型LLM。虽然基准测试结果显示性能提升不一致，但该数据集为卢森堡语NLP研究提供了一个宝贵的资源。实验结果表明，使用自动生成的数据进行指令微调具有潜力，但需要进一步优化数据质量和模型训练策略。

🎯 应用场景

该研究成果可应用于其他低资源语言的自然语言处理任务，例如机器翻译、文本摘要、问答系统等。通过自动生成指令微调数据，可以降低模型训练成本，促进LLM在更多语言和文化环境中的应用。未来可以探索更有效的质量评估方法和数据增强技术，进一步提升模型性能。

📄 摘要（原文）

The effectiveness of instruction-tuned Large Language Models (LLMs) is often limited in low-resource linguistic settings due to a lack of high-quality training data. We introduce LuxIT, a novel, monolingual instruction tuning dataset for Luxembourgish developed to mitigate this challenge. We synthesize the dataset from a corpus of native Luxembourgish texts, utilizing DeepSeek-R1-0528, chosen for its shown proficiency in Luxembourgish. Following generation, we apply a quality assurance process, employing an LLM-as-a-judge approach. To investigate the practical utility of the dataset, we fine-tune several smaller-scale LLMs on LuxIT. Subsequent benchmarking against their base models on Luxembourgish language proficiency examinations, however, yields mixed results, with performance varying significantly across different models. LuxIT represents a critical contribution to Luxembourgish natural language processing and offers a replicable monolingual methodology, though our findings highlight the need for further research to optimize its application.