Pass or Fail? Evaluating LLMs on Two Greek Examination Benchmarks
作者: Panagiota Kyriazi, Eleni Kasoura, Prokopis Prokopidis
分类: cs.CL
发布日期: 2026-09-28
💡 一句话要点
提出Prot-Ex和Pan-Ex以评估希腊语LLMs的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 希腊语 评估基准 复杂推理 教育评估 本地化模型 少量示例提示 语言能力
📋 核心要点
- 现有的希腊语LLMs评估基准有限，无法全面反映其语言和分析能力，尤其是在复杂推理任务中。
- 本文提出Prot-Ex和Pan-Ex两个新基准，专注于希腊语入学考试问题，以评估LLMs在不同学科的表现。
- 实验结果显示，KriKri-8B模型在语言复杂性高的任务中表现优异，且少量示例提示在特定任务中存在性能下降的问题。
📝 摘要（中文）
随着大型语言模型（LLMs）的快速发展，评估其语言和分析能力变得尤为重要，尤其是在希腊语这一基准覆盖有限的语言中。为了解决这一领域综合基准的缺乏，本文引入了Prot-Ex和Pan-Ex两个基准，涵盖希腊模型和实验学校的入学考试及全国大学入学考试的问题。这些基准用于评估多种文本LLMs在不同学科和任务格式下的表现。研究发现，经过本地化调整的KriKri-8B在语言要求高的人文学科任务中显著超越其基础模型，并与更大规模的LLMs相抗衡。通过LLM作为评估者的方法，揭示了传统词汇度量在复杂推理评估中的不足，并发现了少量示例提示悖论。
🔬 方法详解
问题定义：本文旨在解决希腊语大型语言模型（LLMs）评估基准不足的问题，现有方法无法有效评估其在复杂推理任务中的表现。
核心思路：通过引入Prot-Ex和Pan-Ex两个新基准，涵盖多种学科和任务格式，评估LLMs的能力，尤其是针对希腊语的本地化模型。
技术框架：研究首先构建了两个基准，随后使用多种文本LLMs进行评估，包括KriKri-8B、Llama-3.1-8B等，分析其在不同任务中的表现。
关键创新：引入LLM作为评估者的方法，揭示了传统词汇度量在复杂推理中的不足，提出了少量示例提示悖论，强调了模型在特定任务中的脆弱性。
关键设计：在实验中，针对不同任务设置了特定的参数和损失函数，特别关注了上下文窗口的限制对模型性能的影响。通过对比不同模型的表现，验证了本地化调整的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，KriKri-8B模型在语言复杂性高的任务中显著优于其基础模型，且在某些任务中与更大规模的LLMs相当。此外，少量示例提示在封闭式问题中提高了准确性，但在结构化任务中导致了性能显著下降，显示出模型对提示冗长的脆弱性。
🎯 应用场景
该研究的潜在应用领域包括教育评估、语言学习和智能辅导系统。通过对希腊语LLMs的深入评估，能够为教育机构提供更精准的工具，帮助学生在语言和分析能力上取得进步，未来可能推动更多语言的类似研究。
📄 摘要（原文）
The rapid advancement of Large Language Models (LLMs) imposes a thorough evaluation of their linguistic and analytical capabilities as well as constraints, particularly for a language with limited benchmark coverage such as Greek. To address the limited availability of comprehensive benchmarks in this domain, we introduce Prot-Ex and Pan-Ex, two benchmarks consisting of questions from entrance exams for Greek Model and Experimental schools as well as the Panhellenic exams (the Greek national university entrance examinations). These benchmarks are employed to assess the performance of text-only LLMs-including the Greek-adapted KriKri-8B-Instruct, Llama-3.1-8B, Gemma-4-26B, and Qwen-3-32B-across diverse academic disciplines (Modern Greek, Mathematics, Physics, etc.) and task formats (closed, structured, and open-ended), including textualized visual context (i.e., image descriptions). Our findings indicate the localized KriKri-8B significantly outperforms its base model, successfully rivalling much larger LLMs in linguistically demanding humanities tasks. By leveraging an LLM-as-a-Judge methodology, we expose the inadequacy of traditional lexical metrics for evaluating complex reasoning. Crucially, we uncover a few-shot prompting paradox: while synthetic examples improve accuracy in closed-ended questions, they severely overload the context window of 8B models in structured tasks, causing significant performance degradation. Ultimately, this study suggests targeted linguistic adaptation offsets lower parameter counts in specialized domains, despite the fragility of smaller models to prompt verbosity.