Evaluating Multimodal Generative AI with Korean Educational Standards

📄 arXiv: 2502.15422v1 📥 PDF

作者: Sanghee Park, Geewook Kim

分类: cs.CL, cs.AI, cs.CV

发布日期: 2025-02-21

备注: 18 pages; To appear at NAACL 2025 Main Conference (Project page: https://github.com/naver-ai/KoNET )

🔗 代码/项目: GITHUB

💡 一句话要点

提出KoNET基准，利用韩国国家教育考试评估多模态生成AI系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态生成AI 基准测试 韩国教育 韩语 教育评估 多语言学习 KoNET

📋 核心要点

  1. 现有基准测试在评估多模态生成AI在非英语环境下的能力方面存在不足，尤其缺乏针对特定国家教育体系的评估。
  2. KoNET基准利用韩国国家教育考试，涵盖小学到大学不同水平，考察AI在多学科和复杂问题上的理解与生成能力。
  3. 论文评估了多种开源和闭源模型在KoNET上的表现，分析了模型在不同难度和学科上的优劣，并与人类表现进行对比。

📝 摘要（中文）

本文提出了韩国国家教育考试基准（KoNET），这是一个旨在利用韩国国家教育考试评估多模态生成AI系统的新基准。KoNET包含四个考试：韩国小学毕业学历考试（KoEGED）、初中毕业学历考试（KoMGED）、高中毕业学历考试（KoHGED）和大学入学能力考试（KoCSAT）。这些考试以其严格的标准和多样化的问题而闻名，有助于全面分析AI在不同教育水平上的表现。通过专注于韩语，KoNET提供了对模型在较少探索的语言中的性能的深入了解。我们通过检查难度、学科多样性和人为错误率来评估一系列模型——开源、开放访问和封闭API。代码和数据集构建器将在https://github.com/naver-ai/KoNET上完全开源。

🔬 方法详解

问题定义：论文旨在解决多模态生成AI在韩语教育场景下的评估问题。现有方法主要集中在英语数据集上，缺乏针对韩语及韩国教育体系的基准测试。这使得我们难以准确评估AI在处理韩语复杂问题，特别是需要多模态理解和推理的教育题目的能力。现有方法的痛点在于语言和文化差异，以及缺乏高质量的韩语教育数据。

核心思路：论文的核心思路是构建一个基于韩国国家教育考试的基准测试集KoNET。通过利用真实考试题目，KoNET能够更准确地反映AI在解决实际教育问题上的能力。这种方法避免了人工合成数据的局限性，并能够更好地捕捉韩语的语言特点和文化背景。

技术框架：KoNET基准测试集包含四个考试：KoEGED（小学），KoMGED（初中），KoHGED（高中）和KoCSAT（大学）。每个考试都包含多个科目和不同类型的题目，涵盖了多模态信息，例如文本、图像和图表。评估流程包括：1）将考试题目输入到多模态生成AI模型中；2）模型生成答案；3）使用预定义的评估指标（例如准确率）评估模型生成的答案。

关键创新：KoNET的关键创新在于其专注于韩语和韩国教育体系，提供了一个独特的评估视角。与现有基准测试相比，KoNET更能够反映AI在处理非英语语言和特定文化背景下的能力。此外，KoNET利用真实考试题目，避免了人工合成数据的局限性，并能够更好地捕捉韩语的语言特点和文化背景。

关键设计：KoNET的数据集构建过程包括从韩国国家教育考试中收集题目，并对题目进行清洗和标注。评估指标包括准确率、难度分析、学科多样性分析和人类错误率对比。论文没有详细说明具体的参数设置、损失函数或网络结构，因为评估的是各种现有的多模态生成AI模型，而非提出新的模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文评估了多种开源和闭源模型在KoNET上的表现，揭示了现有模型在处理韩语教育题目方面的局限性。例如，某些模型在特定科目上表现较好，但在其他科目上表现较差，表明模型在学科知识理解方面存在不平衡。此外，论文还分析了模型在不同难度级别题目上的表现，发现模型在处理高难度题目时表现明显下降。与人类表现相比，现有模型的性能仍有较大提升空间。

🎯 应用场景

KoNET基准测试集可用于评估和改进多模态生成AI在教育领域的应用，例如智能辅导系统、自动阅卷系统和个性化学习平台。通过KoNET的评估，可以更好地了解AI在处理韩语教育内容方面的能力，并推动AI技术在韩国教育领域的应用和发展。该基准也有助于开发更有效的多语言学习工具。

📄 摘要（原文）

This paper presents the Korean National Educational Test Benchmark (KoNET), a new benchmark designed to evaluate Multimodal Generative AI Systems using Korean national educational tests. KoNET comprises four exams: the Korean Elementary General Educational Development Test (KoEGED), Middle (KoMGED), High (KoHGED), and College Scholastic Ability Test (KoCSAT). These exams are renowned for their rigorous standards and diverse questions, facilitating a comprehensive analysis of AI performance across different educational levels. By focusing on Korean, KoNET provides insights into model performance in less-explored languages. We assess a range of models - open-source, open-access, and closed APIs - by examining difficulties, subject diversity, and human error rates. The code and dataset builder will be made fully open-sourced at https://github.com/naver-ai/KoNET.