KoNeoBench: A Curated Evaluation Dataset for LLM Understanding of Korean Neologisms
作者: Soha Lee, Soojin Lee, Heesung Yang, Hyunju Song, Hyunji Lee, Jinsan An, Jeongwan Shin, Jin Hyun Park, Jun Lee, Hyeyoung Park, Kilim Nam
分类: cs.CL, cs.AI
发布日期: 2026-09-17
备注: Accepted to Findings of EMNLP 2026. Code and data are available at the project repository
🔗 代码/项目: GITHUB
💡 一句话要点
提出KoNeoBench以解决韩语新词理解评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 韩语新词 语言评估 自然语言处理 词汇变化 基准测试 语义理解
📋 核心要点
- 现有的韩语评估基准主要集中于传统词汇，无法有效评估新兴词汇的理解能力。
- 本文提出KoNeoBench基准，专注于1785个自2020年以来的韩语新词，经过专家审查，提供详细的用法和定义。
- 实验结果显示，当前LLMs在理解新词的源成分和语义分类方面存在显著不足，揭示了其在处理新词时的挑战。
📝 摘要（中文）
大型语言模型（LLMs）通常在静态基准上进行评估，然而自然语言随着新词和新意义的出现而不断演变。现有的韩语基准主要集中在已建立的词汇上，无法全面覆盖最近的词汇变化，且其以英语为中心的设计使得评估韩语的类型特性变得困难。本文介绍了KoNeoBench，这是一个用于评估LLMs对韩语新词理解能力的基准。KoNeoBench基于自2020年以来在在线新闻中出现的1785个韩语新词，经过专家词典审查而整理而成。每个条目提供用法示例、词汇构成分析和字典式定义。基于该资源，我们定义了四个任务，并报告了近期模型的结果及人类基线。实验表明，当前的LLMs在恢复源成分、区分语义类别和生成准确定义方面存在明显局限性，这些结果揭示了当前LLMs在应对最近韩语词汇变化时的挑战。
🔬 方法详解
问题定义：本文旨在解决现有韩语评估基准无法有效评估新词理解的问题。现有方法主要集中于传统词汇，无法覆盖语言的动态变化，导致LLMs在新词理解上的局限性。
核心思路：KoNeoBench的核心思路是通过专家审查整理出1785个韩语新词，并提供详细的用法示例和定义，以便更好地评估LLMs对新词的理解能力。
技术框架：KoNeoBench的整体架构包括数据收集、专家审查、任务定义和模型评估四个主要模块。数据收集阶段从在线新闻中提取新词，专家审查确保数据的准确性，任务定义则为后续的模型评估提供了标准。
关键创新：KoNeoBench的最大创新在于其专注于新词的评估，填补了现有基准在动态语言变化方面的空白。这一设计使得评估结果更具针对性和实用性。
关键设计：在参数设置上，KoNeoBench定义了四个具体的评估任务，涵盖了源成分恢复、语义分类和定义生成等方面，确保了评估的全面性和深度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前的LLMs在源成分恢复、语义分类和定义生成方面的表现明显不足，尤其是在源成分恢复任务中，模型的准确率仅为XX%，与人类基线相比存在显著差距。这些结果强调了KoNeoBench在评估新词理解能力方面的重要性。
🎯 应用场景
KoNeoBench的研究成果可广泛应用于自然语言处理领域，尤其是在韩语的语言模型训练和评估中。它为研究人员提供了一个标准化的工具，以便更好地理解和处理新兴词汇，推动韩语相关的AI应用发展。未来，KoNeoBench可能会扩展到其他语言的新词评估，促进多语言模型的研究与应用。
📄 摘要（原文）
Large language models (LLMs) are typically evaluated on static benchmarks, even though natural language constantly evolves through newly emerging words and meanings. Existing Korean benchmarks are centered on established vocabulary and therefore provide limited coverage of such recent lexical change, and their English-oriented design makes it difficult to assess the typological properties of Korean, in which content words combine productively with functional morphemes. In this paper, we introduce KoNeoBench, a benchmark for evaluating LLMs' understanding of Korean neologisms. KoNeoBench is built on 1,785 Korean neologisms attested in online news since 2020 and curated through expert lexicographic review. Each entry provides usage examples, word-formation analyses, and dictionary-style definitions. Based on this resource, we define four tasks and report results on recent models, together with a human baseline. Our experiments show that current LLMs exhibit clear limitations in recovering source components, distinguishing semantic categories, and generating accurate definitions. These results reveal specific aspects of recent Korean lexical change that remain challenging for current LLMs. KoNeoBench is available at https://github.com/bcmilab/ko-neobench/ .