A Large-Scale Benchmark for Vietnamese Sentence Paraphrases

📄 arXiv: 2502.07188v1 📥 PDF

作者: Sang Quang Nguyen, Kiet Van Nguyen

分类: cs.CL

发布日期: 2025-02-11

备注: Accepted in NAACL 2025 Findings

💡 一句话要点

构建大规模高质量越南语句子释义数据集ViSP，促进越南语自然语言处理研究。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 越南语 句子释义 数据集 自然语言处理 数据增强

📋 核心要点

  1. 现有的越南语释义资源匮乏，阻碍了相关自然语言处理技术的发展。
  2. 论文提出了一种混合方法，结合自动生成和人工评估，构建大规模高质量的越南语释义数据集。
  3. 实验验证了ViSP数据集的有效性，并评估了多种模型在越南语释义任务上的性能。

📝 摘要（中文）

本文提出了ViSP，一个高质量的越南语句子释义数据集，包含来自不同领域的120万个原始-释义对。该数据集采用混合方法构建，结合了自动释义生成和人工评估，以确保高质量。我们使用诸如回译、EDA等方法以及BART和T5等基线模型，以及包括GPT-4o、Gemini-1.5、Aya、Qwen-2.5和Meta-Llama-3.1变体在内的大型语言模型（LLM）进行了实验。据我们所知，这是第一个关于越南语释义的大规模研究。我们希望我们的数据集和发现将为未来越南语释义任务的研究和应用奠定有价值的基础。

🔬 方法详解

问题定义：论文旨在解决越南语自然语言处理领域中缺乏大规模、高质量句子释义数据集的问题。现有方法要么规模小，要么质量不高，难以满足深度学习模型训练的需求。这限制了越南语释义相关任务的研究进展，例如文本生成、信息检索和机器翻译等。

核心思路：论文的核心思路是采用一种混合方法，结合自动释义生成和人工评估。自动生成负责扩大数据集规模，人工评估负责保证数据质量。这种方法旨在在数据规模和质量之间取得平衡，从而构建一个适用于深度学习模型训练的优质数据集。

技术框架：ViSP数据集的构建流程主要包含以下几个阶段：1) 数据收集：从各种领域收集大量的越南语句子。2) 自动释义生成：使用回译、EDA等技术自动生成原始句子的释义。3) 人工评估：由人工评估员对自动生成的释义进行评估，筛选出高质量的释义。4) 数据清洗：对数据集进行清洗，去除重复和错误的数据。

关键创新：该论文的关键创新在于构建了一个大规模、高质量的越南语句子释义数据集，并采用了一种混合方法来平衡数据规模和质量。此外，该论文还对多种模型在越南语释义任务上的性能进行了评估，为未来的研究提供了基准。

关键设计：在自动释义生成阶段，论文采用了回译和EDA等技术。回译是指将原始句子翻译成另一种语言，然后再翻译回越南语，从而生成释义。EDA（Easy Data Augmentation）是指通过随机插入、删除、替换等操作来生成释义。在人工评估阶段，论文设计了一套评估标准，用于评估释义的质量。具体参数设置和损失函数等细节在论文中未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了包含120万个原始-释义对的大规模越南语句子释义数据集ViSP。实验结果表明，包括GPT-4o、Gemini-1.5、Aya、Qwen-2.5和Meta-Llama-3.1变体在内的大型语言模型在ViSP数据集上表现出不同的性能水平，为未来研究提供了有价值的参考。

🎯 应用场景

ViSP数据集可广泛应用于越南语自然语言处理的各个领域，例如文本生成、信息检索、机器翻译、文本摘要和问答系统等。高质量的释义数据有助于提高这些任务的性能。此外，ViSP数据集还可以促进越南语自然语言处理领域的研究，为开发更智能的越南语应用奠定基础。

📄 摘要（原文）

This paper presents ViSP, a high-quality Vietnamese dataset for sentence paraphrasing, consisting of 1.2M original-paraphrase pairs collected from various domains. The dataset was constructed using a hybrid approach that combines automatic paraphrase generation with manual evaluation to ensure high quality. We conducted experiments using methods such as back-translation, EDA, and baseline models like BART and T5, as well as large language models (LLMs), including GPT-4o, Gemini-1.5, Aya, Qwen-2.5, and Meta-Llama-3.1 variants. To the best of our knowledge, this is the first large-scale study on Vietnamese paraphrasing. We hope that our dataset and findings will serve as a valuable foundation for future research and applications in Vietnamese paraphrase tasks.