Neurograf v1: An End-to-End Romanian-First Language Model Family

📄 arXiv: 2610.13134v1 📥 PDF

作者: Ionut Adrian Rotaru

分类: cs.CL, cs.LG

发布日期: 2026-10-09

💡 一句话要点

提出Neurograf v1以解决罗马尼亚低资源语言模型训练问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 低资源语言 罗马尼亚语 BPE分词器 模型训练 自然语言处理 语料库

📋 核心要点

  1. 现有方法在低资源语言模型训练上面临挑战，尤其是在语料质量和标记效率方面。
  2. 本研究提出了一个统一的训练管道，结合了多种模型和技术，以提升罗马尼亚语的语言模型性能。
  3. 实验结果显示，Neurograf-6B在特定基准测试中达到了69.89%的准确率，验证了模型的有效性和可扩展性。

📝 摘要（中文）

我们提出了Neurograf v1，这是一个实验性的端到端罗马尼亚优先语言模型管道，旨在探讨从零开始训练低资源欧洲语言模型的可行性。该管道包括RoSfera，一个包含1.757亿文档的635GB罗马尼亚语语料库；一个80k字节级BPE分词器；五个参数从1.6亿到60亿的解码器模型，训练于1310亿个标记；三个指令调优助手；以及两个对比训练的嵌入模型。模型家族在验证损失的缩放和罗马尼亚事实与文化知识的增加方面表现出一致性。在1000个问题的WWTBM基准测试中，Neurograf-6B在罗马尼亚语上下文问题上达到了69.89%的准确率，而Neurograf-3.2B达到了67.38%。

🔬 方法详解

问题定义：本研究旨在解决低资源语言模型训练中的挑战，特别是罗马尼亚语的语料质量、数据组成和标记效率等问题。现有方法在这些方面表现不足，限制了模型的性能和应用。

核心思路：论文的核心思路是开发一个端到端的训练管道，专注于罗马尼亚语，通过整合大规模语料库和多种模型架构，探索从零开始训练语言模型的可行性。

技术框架：整体架构包括RoSfera语料库、BPE分词器、多个解码器模型、指令调优助手和对比训练的嵌入模型。训练和评估在ELI-NP/IFIN-HH的计算基础设施上进行。

关键创新：最重要的技术创新在于构建了一个专门针对罗马尼亚语的统一训练管道，解决了现有方法在低资源语言模型训练中的多项痛点。

关键设计：模型参数设置涵盖从160M到6B的多个规模，采用了80k字节级BPE分词器，训练数据量达到1310亿个标记，确保了模型的多样性和有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Neurograf-6B在WWTBM基准测试中达到了69.89%的准确率，Neurograf-3.2B则达到了67.38%。这些结果表明，随着模型规模的增加，验证损失持续降低，罗马尼亚语的事实和文化知识也得到了显著提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和智能助手等，尤其是在罗马尼亚语及其他低资源语言的应用中，具有重要的实际价值。未来，Neurograf v1可能推动更多低资源语言模型的开发与应用，促进语言技术的普及。

📄 摘要（原文）

We present Neurograf v1, an experimental end-to-end Romanian-first language-model pipeline developed to investigate the feasibility of training language models from scratch for a lower-resource European language. The pipeline comprises RoSfera, a 635 GB Romanian corpus containing 175.7 million documents; an 80k byte-level BPE tokenizer; five decoder-only models ranging from 160M to 6B parameters, trained on 131 billion tokens; three instruction-tuned assistants; and two contrastively trained embedding models. Training and evaluation were conducted using computing infrastructure at ELI-NP/IFIN-HH. The model family exhibits consistent scaling of validation loss and increasing Romanian factual and cultural knowledge with model size. On the 1,000-question WWTBM benchmark, Neurograf-6B achieves 69.89% accuracy on Romanian-context questions, while Neurograf-3.2B reaches 67.38%. Compute-optimal analysis yields a parameter-scaling exponent of approximately 0.423. Neurograf v1 serves as an experimental demonstrator rather than a production system. The study identifies practical challenges involving diacritic preservation, corpus quality, data composition, and tokenization efficiency, while demonstrating the feasibility of developing Romanian-first base models, instruction-following assistants, and semantic embedding models within a unified training pipeline.