OpenThaiGPT 1.6 and R1: Thai-Centric Open Source and Reasoning Large Language Models

📄 arXiv: 2504.01789v1 📥 PDF

作者: Sumeth Yuenyong, Thodsaporn Chay-intr, Kobkrit Viriyayudhakorn

分类: cs.CL

发布日期: 2025-04-02

💡 一句话要点

OpenThaiGPT 1.6和R1：以泰语为中心的开源推理大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 泰语LLM 大型语言模型 模型合并 任务算术 多阶段训练 少即是多推理 开源模型

📋 核心要点

  1. 现有泰语LLM在泛化能力和复杂推理方面存在不足，难以满足日益增长的应用需求。
  2. 论文提出OTG-1.6和OTG-R1，分别通过任务算术模型合并和多阶段LIMO训练来提升泛化和推理能力。
  3. 实验表明，新模型在泰语任务上表现优异，性能超越现有开源泰语LLM，设立了新的基准。

📝 摘要（中文）

本文介绍了OpenThaiGPT 1.6 (OTG-1.6) 和 R1 (OTG-R1)，它们是以泰语为中心的大型语言模型（LLM），通过不同的方法开发，旨在增强泛化和推理能力。OTG-1.6采用任务算术模型合并来实现广泛的泛化，而OTG-R1则集成了多阶段训练和“少即是多”的推理假设（LIMO）以实现高级推理。基准评估表明，这些模型在泰语任务中表现出色，与更大规模的开源泰语LLM相比，取得了具有竞争力的结果。本文详细介绍了所提出的模型、训练过程、基准和结果，突出了相对于先前模型的改进，并为以泰语为中心的LLM建立了新的性能标准。

🔬 方法详解

问题定义：现有的大型语言模型在处理特定语言，尤其是像泰语这样的资源相对较少的语言时，往往面临泛化能力不足和复杂推理能力欠缺的问题。现有的泰语LLM可能无法很好地适应各种不同的任务，并且在需要进行复杂逻辑推理的任务中表现不佳。

核心思路：本文的核心思路是分别通过任务算术模型合并（Task Arithmetic model merging）和多阶段训练结合“少即是多”的推理假设（LIMO）来解决泛化能力和推理能力的问题。任务算术模型合并旨在通过合并多个在不同任务上训练的模型来提高模型的泛化能力。LIMO假设则认为，在推理过程中，更少的干扰信息可以帮助模型更好地进行推理。

技术框架：OTG-1.6采用任务算术模型合并，将多个在不同泰语任务上训练的模型进行合并，从而获得更强的泛化能力。OTG-R1则采用多阶段训练，首先在一个大型数据集上进行预训练，然后在少量高质量的推理数据集上进行微调，并结合LIMO假设来提升推理能力。整体流程包括数据收集、模型训练、模型合并（仅OTG-1.6）和评估。

关键创新：OTG-1.6的关键创新在于将任务算术模型合并应用于泰语LLM，这是一种相对新颖的方法，可以有效地提高模型的泛化能力。OTG-R1的关键创新在于将多阶段训练与LIMO假设相结合，这有助于模型更好地进行推理。此外，两个模型都是以泰语为中心进行设计的，更加关注泰语的特性和需求。

关键设计：OTG-1.6的关键设计在于如何选择合适的任务进行模型合并，以及如何确定合并的权重。OTG-R1的关键设计在于如何构建高质量的推理数据集，以及如何有效地利用LIMO假设进行训练。具体的参数设置、损失函数和网络结构等细节在论文中应该有更详细的描述（未知）。

📊 实验亮点

OpenThaiGPT 1.6和R1在多个泰语基准测试中取得了优异的成绩，与现有开源泰语LLM相比，性能显著提升。具体性能数据和提升幅度在论文中应该有更详细的描述（未知）。这些结果表明，所提出的模型在泰语泛化和推理方面具有很强的竞争力。

🎯 应用场景

该研究成果可广泛应用于泰语自然语言处理领域，例如智能客服、机器翻译、文本摘要、情感分析等。这些模型可以帮助提升泰语相关AI应用的用户体验和智能化水平，促进泰语信息处理技术的发展，并为泰语文化传播和交流提供技术支持。

📄 摘要（原文）

We present OpenThaiGPT 1.6 and R1 (OTG-1.6 and OTG-R1), Thai-centric Large Language Models (LLMs) developed through distinct methodologies to enhance generalization and reasoning capabilities. OTG-1.6 employs Task Arithmetic model merging for broad generalization, while OTG-R1 integrates multi-stage training with the Less-Is-More Reasoning Hypothesis (LIMO) for advanced reasoning. Benchmark evaluations demonstrate superior performance across Thai language tasks, achieving competitive results against larger-scale open-source Thai LLMs. This paper details the proposed models, training processes, benchmarks, and results, highlighting improvements over previous models and establishing new performance standards for Thai-centric LLMs.