How Many Labels Does a Language Need? Annotation Budgets and Cross-Lingual Pooling for African-Language Text Classification
作者: Bhanu Prakash Vangala, Sowmya Guda, Navya Vangala
分类: cs.CL, cs.LG
发布日期: 2026-09-29
💡 一句话要点
提出跨语言标签池化方法以优化非洲语言文本分类
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文本分类 跨语言学习 非洲语言 标签池化 情感分析 机器学习 数据标注
📋 核心要点
- 现有的非洲语言文本分类方法在标注样本需求和跨语言标签使用方面存在挑战。
- 本文提出了一种基于字符n-gram线性模型的解决方案，能够在短时间内训练并处理多种语言任务。
- 实验结果显示，少量目标标签结合其他语言的池化数据可以显著提升分类性能，尤其在小预算情况下。
📝 摘要（中文）
每个非洲语言的文本分类器都面临预算问题：需要多少标注样本，其他非洲语言的标签能否替代？本文通过对28个语言任务对的实证研究，探讨了这一问题。研究表明，主题分类在中位语言中约需400个标签即可达到90%的宏观F1分数，而情感分析在12种语言中仍需数千个标签。通过对其他语言的训练数据进行池化，在小预算下能显著提升性能，但在大预算下效果减弱，甚至可能导致性能下降。我们发布了代码以再现结果，并为无GPU的团队提供了具体的标注指导。
🔬 方法详解
问题定义：本文旨在解决非洲语言文本分类中标注样本需求的预算问题，现有方法在不同语言间的标签共享效果不佳，导致分类性能受限。
核心思路：通过实证研究，探索在不同预算下，跨语言标签池化对分类性能的影响，提出在小预算下利用其他语言的训练数据以提高分类效果。
技术框架：研究使用字符n-gram线性模型，训练过程在两核CPU上快速完成，模型不依赖预训练权重和加速器。实验涵盖了16种语言的新闻主题分类和12种语言的推文情感分析。
关键创新：最重要的创新在于揭示了在小预算下跨语言标签池化的有效性，以及在大预算下其效果的衰减，提供了新的标注策略指导。
关键设计：实验中使用了从25到数千个标签的预算设置，采用宏观F1分数作为性能评估指标，分析了不同语言间的共享脚本和词汇对迁移学习的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在目标标签为25时，结合池化数据的模型在新闻分类上平均提升0.20的宏观F1分数，情感分析提升0.08，而在800个标签后，池化效果减弱，甚至在全量数据时导致性能下降。整体上，25个目标标签加上池化数据的组合效果相当于100到400个单语标签的效果。
🎯 应用场景
该研究的潜在应用领域包括非洲语言的文本分类、社交媒体分析及新闻分类等。通过优化标注预算和跨语言标签使用，能够帮助资源有限的团队更高效地构建分类器，推动非洲语言处理技术的发展，提升相关应用的准确性和实用性。
📄 摘要（原文）
Every text classifier for an African language begins with a budgeting question: how many labelled examples are needed, and can labels from other African languages stand in for them? We answer both questions empirically for 28 language-task pairs, news topic classification in 16 languages (MasakhaNEWS) and tweet sentiment in 12 languages (AfriSenti), using a character n-gram linear model that trains in seconds on two CPU cores with no pretrained weights and no accelerator. Monolingual learning curves at budgets from 25 to several thousand labels show that topic classification reaches 90\% of its full-data macro-F1 with about 400 labels in the median language, while sentiment is still improving at the full training size in 11 of 12 languages and needs thousands of labels. Pooling the full training data of the other languages in the benchmark is worth a great deal at small budgets and nothing at large ones: at 25 target labels it adds 0.20 macro-F1 on average for news (up to 0.43 for Lingala) and 0.08 for sentiment, the gain decays to zero by 800 labels, and at full size pooling hurts in 9 of 16 and 8 of 12 languages. Twenty-five target labels plus pooled data match what 100 to 400 monolingual labels achieve for most news languages. A complete zero-shot transfer matrix shows that transfer without any target labels recovers a median of only 13\% (news) and 4\% (sentiment) of the gap between a majority-class predictor and the in-language model, with the exceptions explained by shared script (Amharic and Tigrinya), shared lexicon (English and Nigerian Pidgin, the Arabic dialects), or a shared label prior rather than by language family. We release code that regenerates every number from the public benchmark files and translate the results into concrete annotation guidance for teams building African-language classifiers without GPUs.