HuAMR: A Hungarian AMR Parser and Dataset

📄 arXiv: 2502.20552v1 📥 PDF

作者: Botond Barta, Endre Hamerlik, Milán Konor Nyist, Judit Ács

分类: cs.CL

发布日期: 2025-02-27

💡 一句话要点

提出HuAMR：首个匈牙利语AMR数据集与解析器，填补非英语语义资源空白。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抽象语义表示 AMR解析 匈牙利语 大型语言模型 数据集构建

📋 核心要点

  1. 非英语语言缺乏高质量的语义资源，阻碍了相关自然语言处理技术的发展。
  2. 利用Llama-3.1-70B自动生成silver-standard AMR标注，并进行人工校正，构建高质量的HuAMR数据集。
  3. 实验表明，将silver-standard AMR数据加入训练能有效提升匈牙利语新闻领域的解析精度，验证了数据集的有效性。

📝 摘要（中文）

本文介绍了HuAMR，这是首个匈牙利语抽象语义表示(AMR)数据集，以及一套基于大型语言模型的匈牙利语AMR解析器，旨在解决非英语语言语义资源匮乏的问题。为了创建HuAMR，我们使用Llama-3.1-70B自动生成了silver-standard AMR标注，然后通过人工精炼以确保质量。在此数据集的基础上，我们研究了不同的模型架构（mT5 Large和Llama-3.2-1B）和微调策略如何影响AMR解析性能。虽然将来自Llama-3.1-70B的silver-standard AMRs纳入较小模型的训练数据中并不能始终提高总体分数，但我们的结果表明，这些技术有效地提高了匈牙利语新闻数据（HuAMR的领域）的解析准确性。我们使用Smatch分数评估了我们的解析器，并证实了HuAMR和我们的解析器在推进语义解析研究方面的潜力。

🔬 方法详解

问题定义：论文旨在解决匈牙利语缺乏高质量AMR数据集和解析器的问题。现有的语义资源主要集中在英语上，导致针对匈牙利语等其他语言的语义解析研究受限。

核心思路：论文的核心思路是利用大型语言模型（Llama-3.1-70B）的强大生成能力，自动创建silver-standard AMR标注，然后通过人工校正，构建高质量的HuAMR数据集。同时，探索不同模型架构和微调策略对AMR解析性能的影响。

技术框架：整体流程包括：1) 使用Llama-3.1-70B自动生成匈牙利语文本的AMR标注；2) 人工校正生成的AMR标注，构建高质量的HuAMR数据集；3) 使用HuAMR数据集微调不同的模型（mT5 Large和Llama-3.2-1B）；4) 使用Smatch指标评估解析器的性能。

关键创新：关键创新在于利用大型语言模型自动生成silver-standard AMR标注，并结合人工校正，降低了构建高质量AMR数据集的成本。此外，针对匈牙利语这一特定语言，探索了不同模型架构和微调策略对AMR解析性能的影响。

关键设计：论文中，Llama-3.1-70B被用作AMR标注的生成器，人工校正过程旨在提高标注的准确性。针对不同的模型架构（mT5 Large和Llama-3.2-1B），论文探索了不同的微调策略，以优化AMR解析性能。Smatch指标被用于评估解析器的性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，将Llama-3.1-70B生成的silver-standard AMRs纳入较小模型的训练数据中，虽然不能始终提高总体分数，但能有效提高匈牙利语新闻数据（HuAMR的领域）的解析准确性。使用Smatch分数评估了解析器，验证了HuAMR数据集和解析器在推进语义解析研究方面的潜力。

🎯 应用场景

HuAMR数据集和解析器可应用于匈牙利语的机器翻译、信息抽取、问答系统等自然语言处理任务。该研究为其他低资源语言的语义资源建设提供了借鉴，有助于推动多语言自然语言处理的发展。未来，可以进一步扩展HuAMR数据集的规模和领域，并探索更先进的AMR解析模型。

📄 摘要（原文）

We present HuAMR, the first Abstract Meaning Representation (AMR) dataset and a suite of large language model-based AMR parsers for Hungarian, targeting the scarcity of semantic resources for non-English languages. To create HuAMR, we employed Llama-3.1-70B to automatically generate silver-standard AMR annotations, which we then refined manually to ensure quality. Building on this dataset, we investigate how different model architectures - mT5 Large and Llama-3.2-1B - and fine-tuning strategies affect AMR parsing performance. While incorporating silver-standard AMRs from Llama-3.1-70B into the training data of smaller models does not consistently boost overall scores, our results show that these techniques effectively enhance parsing accuracy on Hungarian news data (the domain of HuAMR). We evaluate our parsers using Smatch scores and confirm the potential of HuAMR and our parsers for advancing semantic parsing research.