UPDESH: Synthesizing Grounded Instruction Tuning Data for 13 Indic Languages
作者: Pranjal A. Chitale, Varun Gumma, Sanchit Ahuja, Prashant Kodali, Manan Uppadhyay, Deepthi Sudharsan, Sunayana Sitaram
分类: cs.CL
发布日期: 2026-02-28
💡 一句话要点
UPDESH：合成13种印度语言的指令微调数据，提升多语言AI性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多语言AI 指令微调 合成数据 低资源语言 印度语言
📋 核心要点
- 现有方法在构建多语言AI系统时，尤其是在低资源语言方面，面临着缺乏文化背景知识和高质量训练数据的挑战。
- 论文提出了一种自下而上的合成数据生成方法，利用大型语言模型和特定语言的维基百科内容，创建具有文化背景的指令微调数据。
- 实验结果表明，使用Updesh数据集训练的模型在NLU和NLG任务上取得了显著的性能提升，验证了该方法的有效性。
📝 摘要（中文）
开发具有文化基础的多语言AI系统仍然充满挑战，特别是对于低资源语言。虽然合成数据提供了一种有希望的解决方案，但其在多语言和多元文化环境中的有效性尚未得到充分探索。我们研究了基于特定语言的维基百科内容，使用大型开源LLM（>=235B参数）进行自下而上的合成数据生成，以补充主流的自上而下的基于英语的翻译方法。我们引入了Updesh，这是一个高质量的大规模合成指令遵循数据集，包含跨13种印度语言和英语的950万个数据点，涵盖了各种推理和生成任务。通过自动化指标和1万次人工评估进行的全面评估证实了数据的质量。通过在各种数据集上微调模型并在13个不同的多语言数据集上评估性能以及模型比较评估进行的下游评估表明，在Updesh上训练的模型在NLU、NLG评估中始终获得显著改进。最后，通过消融研究和文化评估，我们表明，上下文感知、具有文化基础的数据生成对于有效多语言AI开发至关重要。
🔬 方法详解
问题定义：论文旨在解决低资源印度语言缺乏高质量指令微调数据的问题，现有方法主要依赖于从英语翻译数据，忽略了特定语言的文化背景和细微差别，导致模型在这些语言上的表现不佳。因此，需要一种能够生成具有文化背景知识的指令微调数据的方法，以提升模型在这些语言上的性能。
核心思路：论文的核心思路是利用大型语言模型（LLM）和特定语言的维基百科内容，自下而上地合成指令微调数据。这种方法避免了从英语翻译带来的文化偏差，并且能够生成更符合特定语言文化背景的数据。通过在这些合成数据上进行微调，可以提升模型在相应语言上的理解和生成能力。
技术框架：Updesh的数据生成流程主要包括以下几个阶段：1) 从特定语言的维基百科中提取文本内容；2) 使用大型语言模型（例如，参数量大于等于235B的模型）基于提取的文本内容生成指令和相应的输出；3) 对生成的数据进行过滤和清洗，以确保数据质量；4) 将生成的数据集Updesh用于指令微调。
关键创新：论文的关键创新在于提出了一种自下而上的、基于文化背景的合成数据生成方法，该方法不同于传统的自上而下的翻译方法。通过直接利用特定语言的维基百科内容和大型语言模型，能够生成更符合特定语言文化背景的指令微调数据，从而提升模型在这些语言上的性能。
关键设计：在数据生成过程中，论文采用了多种策略来确保数据质量，例如，使用高质量的维基百科内容作为输入，并对生成的数据进行过滤和清洗。此外，论文还设计了多种类型的指令，涵盖了不同的推理和生成任务，以提高模型的泛化能力。在模型微调方面，论文采用了标准的指令微调方法，并针对不同的语言和任务进行了参数调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在Updesh数据集上训练的模型在13种印度语言的NLU和NLG任务上取得了显著的性能提升。与基线模型相比，在多个数据集上取得了平均超过5%的性能提升，证明了Updesh数据集的有效性。人工评估也证实了Updesh数据集的高质量。
🎯 应用场景
该研究成果可广泛应用于多语言AI系统的开发，尤其是在低资源语言领域。通过合成具有文化背景的指令微调数据，可以提升模型在这些语言上的理解和生成能力，从而促进多语言AI在教育、医疗、金融等领域的应用。此外，该方法也可以推广到其他低资源语言，为构建更公平、更包容的AI系统做出贡献。
📄 摘要（原文）
Developing culturally grounded multilingual AI systems remains challenging, particularly for low-resource languages. While synthetic data offers promise, its effectiveness in multilingual and multicultural contexts is underexplored. We investigate bottom-up synthetic data generation using large open-source LLMs (>= 235B parameters) grounded in language-specific Wikipedia content, complementing dominant top-down translation-based approaches from English. We introduce Updesh, a high-quality large-scale synthetic instruction-following dataset comprising 9.5M data points across 13 Indian languages and English, encompassing diverse reasoning and generative tasks. Comprehensive evaluation using automated metrics and 10K human assessments confirms high data quality. Downstream evaluations performed by fine-tuning models on various datasets and assessing performance across 13 diverse multilingual datasets and model comparative evaluations, demonstrate that models trained on Updesh consistently obtain significant improvements on NLU, NLG evaluations. Finally, through ablation studies and cultural evaluations, we show that context-aware, culturally grounded data generation is essential for effective multilingual AI development.