Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection
作者: Vinko Sabolčec, Bettina Messmer, Yassine Turki, Martin Jaggi
分类: cs.CL, cs.AI
发布日期: 2026-10-08
💡 一句话要点
提出多语言适应方法以优化LLM预训练数据选择
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言适应 质量分类 大型语言模型 数据选择 机器翻译 跨语言学习 深度学习
📋 核心要点
- 现有的高质量数据选择方法在低资源语言上面临标注数据稀缺的挑战，限制了其应用。
- 本文提出了一种将英语质量分类器转换为多语言变体的方法，通过训练多层感知机实现多语言适应。
- 实验结果表明，该方法在不同规模的模型上均能保持下游性能，并有效学习未见语言的评分标准。
📝 摘要（中文）
近年来，大型语言模型（LLM）预训练的进展突显了高质量训练数据在提升模型性能中的重要性。尽管基于模型的过滤方法在选择高质量子集方面已证明有效，但低资源语言由于标注数据的有限性面临挑战。本文探索通过将现有的英语质量分类器转换为多语言变体，扩展质量过滤到超过100种语言。我们的方法在Transformer编码器模型的嵌入上训练一个小型多层感知机，使用多语言文本作为输入，并将应用于机器翻译文本的英语分类器得分作为标签。我们的实验表明，该方法在不损害区域和文化知识基准的情况下，保持了现有多语言模型过滤基线的下游LLM基准性能。
🔬 方法详解
问题定义：本文旨在解决低资源语言在高质量数据选择中的困难，现有方法在这些语言上效果不佳，主要由于缺乏足够的标注数据。
核心思路：提出将英语质量分类器适应为多语言版本，通过训练一个小型多层感知机，利用机器翻译文本的英语分类器得分作为标签，从而实现跨语言的质量评估。
技术框架：整体架构包括使用Transformer编码器生成多语言文本的嵌入，随后在这些嵌入上训练多层感知机，最终输出多语言文本的质量评分。
关键创新：最重要的创新在于将英语分类器的知识迁移到多语言环境中，使得分类器能够在未见语言上进行有效评分，这在现有方法中尚属首次。
关键设计：在模型设计中，使用了多层感知机作为分类器，损失函数采用交叉熵损失，确保模型能够准确学习不同语言的评分标准。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在1B、3B和8B规模的模型上均能保持下游LLM基准性能，与现有多语言模型过滤基线相比，未出现性能下降，且能够有效学习未见语言的评分标准。
🎯 应用场景
该研究的潜在应用领域包括多语言文本处理、信息检索和机器翻译等。通过提高低资源语言的数据选择质量，可以显著提升这些语言的自然语言处理任务的性能，具有重要的实际价值和社会影响。
📄 摘要（原文）
Recent advances in large language model (LLM) pretraining highlight the role of high-quality training data in improving performance. While model-based filtering has proven effective in selecting high-quality subsets from web-scale corpora, especially for high-resource languages, low-resource languages face challenges due to limited availability of annotated data. This work explores extending quality filtering to over 100 languages by proposing a multilingual adaptation approach that converts an existing English quality classifier into a multilingual variant. Our approach proposes training a small multi-layer perceptron on top of Transformer encoder-only model embeddings, using multilingual text as input and scores obtained from English classifiers applied to machine-translated text as labels. Our 1B, 3B and 8B scale experiments show that our approach maintains the downstream LLM benchmark performance of existing multilingual model-based filtering baselines, without harming regional and cultural knowledge benchmarks. To further evaluate cross-lingual generalization, we compare classifier scores of high-quality synthetic data and web samples, and the correlation of classifier scores with LLM-based ones, revealing that the classifier can learn the scoring criteria of its original English variant, even for languages not included in its training data.