Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs

📄 arXiv: 2610.26006v1 📥 PDF

作者: Abhinav Khattar, Aishwarya Chhabra, Ameya Velingker, Anusha Kamath, Brandon Norick, Kanishk Singla, Kiran Praveen, Markus Kliegl, Mohammad Qazim Bhat, Mostofa Patwary, Niket Agarwal, Rajpreet Thethy, Ramani Akkati, Raviraj Joshi, Sai Nishanth Padala, Shuoyang Ding, Sriharsha Niverty, Utkarsh Vaidya, Vitaly Lavrukhin, Yev Meyer, Anoop Kunchukuttan, Mitesh Khapra, Mohammed Safi Ur Rahman Khan, Rudra Murthy, Sumanth Doddapaneni, Thanmay Jayakumar, Ujjwal Sharma

分类: cs.CL

发布日期: 2026-10-19

备注: 44 pages, 5 figures. Includes appendices and references

💡 一句话要点

提出Nemotron-Pretraining-Indic-v1以提升印度语言模型的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 合成预训练 多语言模型 数据评估 自然语言处理 机器翻译 印度语言 知识推理

📋 核心要点

  1. 现有的印度语言模型缺乏足够的多语言数据和有效的评估机制，限制了其能力的提升。
  2. 本文提出了一个合成预训练语料库和多语言评估套件，以支持印度语言模型的开发和评估。
  3. 实验表明，合成语料库与自然文本结合使用，能够在知识和推理能力上显著超越公共语料库基线。

📝 摘要（中文）

为了构建强大的印度语言模型，本文提出了Nemotron-Pretraining-Indic-v1，这是一个包含约2.83万亿个标记的合成预训练语料库，覆盖22种印度官方语言的本地脚本及12种罗马化形式。该语料库是目前公开发布的最大印度预训练语料库。通过GPU加速的管道，本文翻译了经过筛选的英语文档，评估翻译质量并修复低质量输出，同时保持技术内容和文档结构。实验结果表明，将合成语料库与自然印度文本结合使用，能够显著提升知识和推理能力。此外，本文还提出了Indic-LLM-Eval-Suite，一个多语言基准套件，用于评估印度语言模型在聊天、指令跟随、推理、知识、代码和翻译等方面的表现。

🔬 方法详解

问题定义：本文旨在解决印度语言模型在多语言数据和评估方面的不足，现有方法缺乏规模化的合成数据和有效的评估工具。

核心思路：通过构建Nemotron-Pretraining-Indic-v1合成预训练语料库，结合自然语言文本，提升模型的知识和推理能力，同时引入Indic-LLM-Eval-Suite进行全面评估。

技术框架：整体流程包括数据翻译、质量评估、低质量输出修复和评估套件的构建。主要模块包括数据处理管道、翻译质量评估机制和人机协作的评估流程。

关键创新：最大的创新在于构建了一个覆盖22种印度语言的合成预训练语料库，并结合了自然文本进行模型训练，显著提升了模型的多语言能力。

关键设计：在数据处理过程中，采用了GPU加速的翻译管道，使用自动化质量评估和母语者审核相结合的方式，确保翻译质量和技术内容的保留。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，结合合成语料库与自然文本的模型在知识和推理能力上显著优于公共语料库基线，具体提升幅度未知。此外，Indic-LLM-Eval-Suite能够全面评估模型在不同任务和语言上的表现，揭示出显著的任务和语言间差异。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和智能助手等，能够为印度及其他多语言国家的语言模型开发提供基础数据和评估工具，推动相关技术的进步和应用。

📄 摘要（原文）

Building capable language models for India requires scalable multilingual data and robust evaluation. We introduce Nemotron-Pretraining-Indic-v1, a synthetic pretraining corpus of approximately 2.83 trillion tokens covering all 22 scheduled Indian languages in native script and twelve in romanized form. It is the largest openly released Indic pretraining corpus. Using our GPU-accelerated pipeline, we translate curated English documents, assess translation quality, and repair low-quality outputs while preserving technical content and document structure and maintaining source traceability. Through continued-pretraining experiments across twelve languages, we show that combining our synthetic corpus with natural Indic text improves knowledge and reasoning over a public-corpus baseline. Additional experiments show how data volume, script coverage, and Indic training share affect English performance. We also introduce the Indic-LLM-Eval-Suite, a multilingual benchmark suite for evaluating Indic language models across chat, instruction following, reasoning, knowledge, code, and translation. The suite combines existing Indic benchmarks with task-aware translations of English benchmarks, using automated quality assessment, targeted correction, and native-speaker review in a human-in-the-loop pipeline. We use the suite to comprehensively benchmark contemporary open-weight Indic and multilingual models across capabilities and languages, revealing substantial variation across tasks and languages. Together, these resources provide a scalable foundation for developing and evaluating more capable Indic language models.