The Veln(ia)s is in the Details: Evaluating LLM Judgment on Latvian and Lithuanian Short Answer Matching

📄 arXiv: 2501.09164v1 📥 PDF

作者: Yevhen Kostiuk, Oxana Vitman, Łukasz Gagała, Artur Kiulian

分类: cs.CL, cs.AI

发布日期: 2025-01-15

💡 一句话要点

评估LLM在拉脱维亚语和立陶宛语短答案匹配任务中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 短答案匹配 大型语言模型 拉脱维亚语 立陶宛语 低资源语言 语义理解 数据集构建

📋 核心要点

  1. 现有方法在评估LLM对拉脱维亚语和立陶宛语等低资源语言的短答案匹配能力方面存在不足。
  2. 论文提出通过构建包含细微差异的匹配/不匹配答案对的数据集，来评估LLM对语义理解的敏感度。
  3. 实验结果表明，大型LLM表现出色，但小型模型性能差异大，部分模型受益于少量样本学习。

📝 摘要（中文）

本文旨在评估大型语言模型（LLM）在拉脱维亚语和立陶宛语的短答案匹配任务中的表现。我们构建了包含502个拉脱维亚语和690个立陶宛语问答对的新数据集。针对每个问答对，我们通过一系列专门设计的修改规则生成匹配和不匹配的答案，这些规则旨在引入细微但有意义的文本变化。这些生成的答案作为测试用例，用于评估LLM检测原始答案匹配中细微差异的能力。数据集的一个子集经过人工验证，以确保质量和准确性。结果表明，较大的LLM（如QWEN2.5 72b和LLaMa3.1 70b）在区分匹配和不匹配的答案方面表现近乎完美，而较小的模型则表现出更大的差异。例如，LLaMa3.1 8b和EuroLLM 9b受益于少量样本示例，而Mistral Nemo 12b在检测细微的文本更改方面表现不佳，尤其是在立陶宛语中，即使有额外的示例也是如此。QWEN2.5 7b和Mistral 7b在零样本和少样本实验中能够获得与更大的70b模型相当的强大性能。此外，Mistral 7b在少样本实验中的表现较弱。

🔬 方法详解

问题定义：论文旨在解决LLM在拉脱维亚语和立陶宛语短答案匹配任务中的评估问题。现有方法缺乏针对这些语言的专门数据集，难以准确评估LLM对细微语义差异的理解能力。现有数据集的构建和评估方法可能不够精细，无法充分揭示LLM在处理这些语言时的局限性。

核心思路：论文的核心思路是通过构建高质量的、包含细微语义差异的拉脱维亚语和立陶宛语问答对数据集，来测试LLM对答案匹配的判断能力。通过精心设计的修改规则，生成与原始答案匹配或不匹配的答案，从而评估LLM对细微文本变化的敏感度。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 构建拉脱维亚语和立陶宛语问答对数据集；2) 设计一系列修改规则，用于生成匹配和不匹配的答案；3) 使用生成的答案作为测试用例，评估不同LLM的性能；4) 对数据集的子集进行人工验证，以确保质量和准确性。

关键创新：该论文的关键创新在于构建了专门针对拉脱维亚语和立陶宛语的短答案匹配数据集，并设计了能够引入细微但有意义的文本变化的修改规则。这种方法能够更有效地评估LLM对低资源语言的语义理解能力，并揭示其在处理细微语义差异时的局限性。与现有方法相比，该方法更加精细化，能够更准确地评估LLM的性能。

关键设计：论文的关键设计包括：1) 修改规则的设计，需要确保生成的答案在语义上与原始答案相似或不同，但差异足够细微，以挑战LLM的理解能力；2) 数据集的规模和质量，需要足够大且准确，以保证评估结果的可靠性；3) 评估指标的选择，需要能够准确反映LLM在匹配答案方面的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，大型LLM（如QWEN2.5 72b和LLaMa3.1 70b）在区分匹配和不匹配的答案方面表现近乎完美。较小的模型（如LLaMa3.1 8b和EuroLLM 9b）受益于少量样本示例。Mistral Nemo 12b在检测细微的文本更改方面表现不佳，尤其是在立陶宛语中。QWEN2.5 7b和Mistral 7b在零样本和少样本实验中能够获得与更大的70b模型相当的强大性能。

🎯 应用场景

该研究成果可应用于教育领域，例如自动评分系统，能够更准确地评估学生对拉脱维亚语和立陶宛语问题的回答。此外，该研究也有助于提升LLM在低资源语言处理方面的能力，促进多语言自然语言处理技术的发展。未来，可以进一步扩展该数据集，并探索更有效的LLM训练方法，以提升其在低资源语言任务中的性能。

📄 摘要（原文）

In this work, we address the challenge of evaluating large language models (LLMs) on the short answer matching task for Latvian and Lithuanian languages. We introduce novel datasets consisting of 502 Latvian and 690 Lithuanian question-answer pairs. For each question-answer pair, we generated matched and non-matched answers using a set of alteration rules specifically designed to introduce small but meaningful changes in the text. These generated answers serve as test cases to assess the ability of LLMs to detect subtle differences in matching of the original answers. A subset of the datasets was manually verified for quality and accuracy. Our results show that while larger LLMs, such as QWEN2.5 72b and LLaMa3.1 70b, demonstrate near-perfect performance in distinguishing matched and non-matched answers, smaller models show more variance. For instance, LLaMa3.1 8b and EuroLLM 9b benefited from few-shot examples, while Mistral Nemo 12b underperformed on detection of subtle text alteration, particularly in Lithuanian, even with additional examples. QWEN2.5 7b and Mistral 7b were able to obtain a strong and comparable performance to the larger 70b models in zero and few shot experiments. Moreover, the performance of Mistral 7b was weaker in few shot experiments.