GreenMind: A Next-Generation Vietnamese Large Language Model for Structured and Logical Reasoning

📄 arXiv: 2504.16832v2 📥 PDF

作者: Luu Quy Tung, Hoang Quoc Viet, Pham Bao Loc, Vo Trong Thu

分类: cs.CL

发布日期: 2025-04-23 (更新: 2025-08-09)

💡 一句话要点

GreenMind：面向结构化和逻辑推理的下一代越南语大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 越南语 大型语言模型 推理 Group Relative Policy Optimization 奖励函数 语言混合 事实一致性

📋 核心要点

  1. 大型语言模型在需要中间推理步骤的任务中面临挑战，尤其是在越南语等资源较少的语言中。
  2. GreenMind模型采用Group Relative Policy Optimization微调策略，并结合高质量越南语合成推理数据，提升推理能力。
  3. 实验结果表明，GreenMind在越南语数据集上优于现有模型，并在多语言数据集上展示了相对于少样本提示的优势。

📝 摘要（中文）

本文介绍了GreenMind-Medium-14B-R1，一个受Group Relative Policy Optimization微调策略启发的越南语推理模型。该模型利用高质量的越南语合成推理数据集，并设计了两个奖励函数来解决该技术的主要限制：（i）语言混合，即在token采样过程中显式检测有偏见的语言字符的存在；（ii）利用基于Sentence Transformer的模型来确保生成的推理内容保持事实正确性，并且不扭曲最终输出。在VLSP 2023挑战赛的越南语数据集上的实验结果表明，我们的模型优于先前的工作，并提高了其响应中的语言一致性。此外，我们将评估扩展到SeaExam（一个多语言多项选择数据集），展示了我们的推理方法相对于少样本提示技术的有效性。

🔬 方法详解

问题定义：论文旨在构建一个更强大的越南语大型语言模型，专注于结构化和逻辑推理能力。现有方法在处理越南语时，面临语言混合和事实一致性问题，导致推理过程不准确，输出结果质量不高。

核心思路：论文的核心思路是利用Group Relative Policy Optimization (GRPO) 进行微调，并结合专门设计的奖励函数来解决语言混合和事实一致性问题。通过GRPO，模型可以更好地学习推理策略，而奖励函数则引导模型生成更准确、更符合事实的推理过程。

技术框架：GreenMind模型的训练流程主要包括以下几个阶段：1) 使用高质量越南语合成推理数据集进行预训练；2) 利用GRPO进行微调，其中GRPO使用两个奖励函数进行优化；3) 使用SeaExam等多语言数据集进行评估。其中，奖励函数的设计是关键，包括语言混合检测和基于Sentence Transformer的事实一致性评估。

关键创新：论文的关键创新在于针对越南语推理任务，设计了专门的奖励函数。语言混合检测奖励函数能够有效抑制模型生成包含其他语言字符的推理过程，保证语言的纯粹性。基于Sentence Transformer的事实一致性奖励函数则能够确保推理过程和最终答案与事实相符，避免产生错误或虚假的推理。

关键设计：论文设计了两个关键的奖励函数。第一个奖励函数用于检测和惩罚语言混合现象，通过识别越南语字符之外的其他语言字符来计算奖励。第二个奖励函数基于Sentence Transformer模型，计算生成推理过程和事实之间的语义相似度，作为奖励信号。具体参数设置和网络结构细节在论文中未详细说明，属于未知信息。

📊 实验亮点

GreenMind模型在VLSP 2023挑战赛的越南语数据集上取得了优于现有模型的性能。此外，在SeaExam多语言数据集上的实验结果表明，GreenMind的推理方法优于少样本提示技术，证明了其在跨语言环境下的有效性。具体的性能提升幅度在摘要中未明确给出。

🎯 应用场景

GreenMind模型可应用于越南语的智能客服、自动问答系统、教育辅导等领域。通过提升模型的推理能力和语言一致性，可以为用户提供更准确、更可靠的信息服务。未来，该模型有望促进越南语自然语言处理技术的发展，并推动相关产业的智能化升级。

📄 摘要（原文）

Chain-of-Thought (CoT) is a robust approach for tackling LLM tasks that require intermediate reasoning steps prior to generating a final answer. In this paper, we present GreenMind-Medium-14B-R1, the Vietnamese reasoning model inspired by the finetuning strategy based on Group Relative Policy Optimization. We also leverage a high-quality Vietnamese synthesized reasoning dataset and design two reward functions to tackle the main limitations of this technique: (i) language mixing, where we explicitly detect the presence of biased language characters during the process of sampling tokens, and (ii) we leverage Sentence Transformer-based models to ensure that the generated reasoning content maintains factual correctness and does not distort the final output. Experimental results on the Vietnamese dataset from the VLSP 2023 Challenge demonstrate that our model outperforms prior works and enhances linguistic consistency in its responses. Furthermore, we extend our evaluation to SeaExam-a multilingual multiple-choice dataset, showing the effectiveness of our reasoning method compared to few-shot prompting techniques.