SEA-LION-v4.8: A Technical Report
作者: Ahmed Mohammad Dabeer, Ahn Jeongmi, Anocha Sutaveephamochanon, Antonyrex Sajeban, Aulia Adila, Chan Hok Teng, Adwin, Cheng Zi Yi, Nicholas Zhuang Ziyi, Choa Hsueh Mei Esther, David Ong Tat-Wee, Evelyn Tan Chor Phin, Heng Cheng Peng, Jonathan, Lee Chwan Ren, Leong Wai Yi, Leong Wei Qi, Leslie Teo Eng Sipp, Liew Rachel, Limkonchotiwat Peerat, Montalan Jann Railey Estrada, Muhammad Ridzuan Bin Mokhtar, Nagarajan Karthik, Ng Boon Cheong, Raymond, Ngui Jian Gang, Nguyen Thanh Ngan, Tasawong Panuthep, Pereira Mark Gregory, Phang Shi Wei Benjamin, Poon Yip Hung, Joseph, Rengarajan Hamsawardhini, Siow Wei Kang Bryan, Tai Ngee Chia, Tan Choon Meng, Tan Le Min, Sheryl, Tan Siao Wei, Tan Yi Xian, Tee Jun Yun, Teng Kok Wai, Tjhi William Chandra, Tuchinda Pume, Wu Donghang, Yong Xianbin, Yosephine, Zhang Zhou
分类: cs.CL
发布日期: 2026-09-16
备注: A technical report
💡 一句话要点
提出Nemotron-SEA-LION-v4.8以提升东南亚语言处理能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 东南亚语言处理 模型适配 监督微调 在线蒸馏 自然语言理解 多语言模型 推理能力
📋 核心要点
- 现有模型在处理东南亚语言时存在性能不足，尤其是在推理和理解任务上。
- 本研究提出了Nemotron-SEA-LION-v4.8，通过多样化的数据集和后训练技术来提升模型的语言处理能力。
- 实验结果显示，两个模型在SEA-HELM评估中均有显著得分提升，特别是在指令跟随和自然语言理解方面。
📝 摘要（中文）
我们介绍了Nemotron-SEA-LION-v4.8，这是基于NVIDIA Nemotron 3构建的东南亚语言统一网络（SEA-LION）系列。该系列包括30B-A3B和120B-A12B模型，涵盖了继续预训练的基础检查点和后训练变体。我们利用东南亚、推理、代码和多语言平行数据集对模型进行适配，随后通过监督微调和在线策略蒸馏进行后训练。在SEA-HELM评估中，30B-A3B模型的整体东南亚得分从46.06提升至51.57，而120B-A12B模型则从49.30提升至63.44。七种东南亚语言在指令跟随、自然语言推理和理解方面表现出显著提升。
🔬 方法详解
问题定义：本研究旨在解决现有东南亚语言处理模型在推理和理解任务中的性能不足，尤其是在多语言环境下的适应性问题。现有方法在处理复杂指令和多样化语言时表现不佳。
核心思路：论文通过构建Nemotron-SEA-LION-v4.8系列模型，结合东南亚特有的数据集进行适配，并采用监督微调和在线策略蒸馏来提升模型性能。这样的设计旨在增强模型对东南亚语言的理解和推理能力。
技术框架：整体架构包括基础模型的预训练、数据集适配、后训练阶段（包括监督微调和在线蒸馏）。模型的训练流程分为数据准备、模型训练和评估三个主要模块。
关键创新：最重要的技术创新在于结合了多种东南亚语言的数据集进行模型训练，并通过后训练技术显著提升了模型在特定任务上的表现。这与传统单一语言模型的训练方法形成鲜明对比。
关键设计：在模型设计中，采用了多层次的网络结构，并针对不同任务设置了特定的损失函数，确保模型在推理和理解任务上的有效性。此外，模型的参数设置经过多次实验优化，以达到最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，30B-A3B模型的整体东南亚得分从46.06提升至51.57，120B-A12B模型则从49.30提升至63.44，特别是在指令跟随、自然语言推理和理解任务上表现出显著的性能提升，显示出该模型在多语言处理中的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和智能助手等，尤其是在东南亚地区的多语言环境中。通过提升模型对东南亚语言的理解能力，可以为教育、商业和政府服务等多个领域带来实际价值，促进跨文化交流与合作。
📄 摘要（原文）
We introduce Nemotron-SEA-LION-v4.8, a family of Southeast Asian Languages in One Network (SEA-LION) built upon NVIDIA Nemotron 3. The family includes 30B-A3B and 120B-A12B models, with both continued-pretrained base checkpoints and post-trained variants. We adapt the models using Southeast Asian, reasoning, code, and multilingual parallel datasets, followed by post-training with supervised fine-tuning and online on-policy distillation. On SEA-HELM, the 30B-A3B model improves the overall SEA score from 46.06 to 51.57, while the 120B-A12B model improves from 49.30 to 63.44. The strongest gains are observed in instruction following, natural language reasoning, and natural language understanding across seven Southeast Asian languages.