Investigating Recent Large Language Models for Vietnamese Machine Reading Comprehension

📄 arXiv: 2503.18062v1 📥 PDF

作者: Anh Duc Nguyen, Hieu Minh Phi, Anh Viet Ngo, Long Hai Trieu, Thai Phuong Nguyen

分类: cs.CL

发布日期: 2025-03-23

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

针对越南语机器阅读理解，论文提出使用QLoRA高效微调Llama 3和Gemma模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 越南语 机器阅读理解 大型语言模型 参数高效微调 QLoRA 低资源语言 Llama 3 Gemma

📋 核心要点

  1. 现有大型语言模型在低资源语言（如越南语）的机器阅读理解任务中的表现尚不明确，缺乏针对性研究。
  2. 论文采用量化低秩适应（QLoRA）方法，高效微调Llama 3和Gemma模型，使其适应越南语机器阅读理解任务。
  3. 实验结果表明，微调后的模型在ViMMRC数据集上优于传统BERT模型以及更大的GPT-3和GPT-3.5模型。

📝 摘要（中文）

大型语言模型（LLMs）在机器阅读理解（MRC）任务中表现出卓越的性能；然而，它们在越南语等低资源语言中的有效性在很大程度上仍未被探索。本文在ViMMRC（一个越南语MRC数据集）上，对两个最先进的LLM：Llama 3（80亿参数）和Gemma（70亿参数）进行了微调和评估。通过利用量化低秩适应（QLoRA），我们高效地微调了这些模型，并将它们的性能与强大的基于LLM的基线模型进行了比较。尽管我们微调后的模型比GPT-3和GPT-3.5小，但它们优于传统的基于BERT的方法和这些更大的模型。这证明了我们微调过程的有效性，展示了现代LLM如何超越BERT等旧模型的能力，同时仍然适合在资源受限的环境中部署。通过深入的分析，我们探索了模型性能的各个方面，为适应越南语等低资源语言的LLM提供了宝贵的见解。我们的研究有助于推进低资源语言的自然语言处理，并将我们微调后的模型公开在：https://huggingface.co/iaiuet。

🔬 方法详解

问题定义：论文旨在解决越南语机器阅读理解任务中，大型语言模型效果不佳的问题。现有方法要么依赖于参数量巨大的模型，部署成本高昂，要么使用传统模型效果不佳，无法充分利用越南语的语言特性。

核心思路：论文的核心思路是利用参数高效的微调方法QLoRA，在较小的Llama 3和Gemma模型上进行微调，使其在越南语机器阅读理解任务上达到甚至超过更大模型的效果。这种方法旨在降低计算成本和部署难度，同时提升模型性能。

技术框架：整体流程包括：1) 选择预训练语言模型（Llama 3, Gemma）；2) 使用QLoRA进行参数高效微调；3) 在ViMMRC数据集上进行评估；4) 与基线模型（BERT, GPT-3, GPT-3.5）进行性能比较；5) 分析模型性能，探索模型在不同方面的表现。

关键创新：关键创新在于将QLoRA这种参数高效微调方法应用于越南语机器阅读理解任务，并证明了其在低资源语言上的有效性。通过这种方法，可以使用较小的模型达到甚至超过更大模型的效果，降低了计算成本和部署难度。

关键设计：论文使用了QLoRA进行微调，具体参数设置未知。损失函数可能使用了交叉熵损失函数，用于优化模型在阅读理解任务中的表现。网络结构方面，Llama 3和Gemma本身的网络结构是Transformer架构，论文没有修改其基本结构，主要集中在微调策略上。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，使用QLoRA微调后的Llama 3和Gemma模型在ViMMRC数据集上优于传统的BERT模型，并且在参数量更小的情况下，性能超越了GPT-3和GPT-3.5等更大的模型。这证明了参数高效微调方法在低资源语言上的有效性，为低成本部署高性能的越南语自然语言处理模型提供了可能。

🎯 应用场景

该研究成果可应用于智能客服、信息检索、教育辅助等领域，提升越南语自然语言处理的应用水平。通过高效微调，降低了模型部署成本，使其更易于在资源受限的环境中使用，促进了低资源语言的AI应用普及。未来可扩展到其他低资源语言的自然语言处理任务。

📄 摘要（原文）

Large Language Models (LLMs) have shown remarkable proficiency in Machine Reading Comprehension (MRC) tasks; however, their effectiveness for low-resource languages like Vietnamese remains largely unexplored. In this paper, we fine-tune and evaluate two state-of-the-art LLMs: Llama 3 (8B parameters) and Gemma (7B parameters), on ViMMRC, a Vietnamese MRC dataset. By utilizing Quantized Low-Rank Adaptation (QLoRA), we efficiently fine-tune these models and compare their performance against powerful LLM-based baselines. Although our fine-tuned models are smaller than GPT-3 and GPT-3.5, they outperform both traditional BERT-based approaches and these larger models. This demonstrates the effectiveness of our fine-tuning process, showcasing how modern LLMs can surpass the capabilities of older models like BERT while still being suitable for deployment in resource-constrained environments. Through intensive analyses, we explore various aspects of model performance, providing valuable insights into adapting LLMs for low-resource languages like Vietnamese. Our study contributes to the advancement of natural language processing in low-resource languages, and we make our fine-tuned models publicly available at: https://huggingface.co/iaiuet.