KoAGE: Do Large Language Models Know, Learn, and Coin Korean Neologisms?

📄 arXiv: 2610.19399v1 📥 PDF

作者: SungHo Kim, Eojin Jeon, SangKeun Lee

分类: cs.CL, cs.AI

发布日期: 2026-10-14

💡 一句话要点

提出KoAGE框架以评估语言模型对韩语新词的理解与生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 韩语新词 NeoTrace框架 KoAGE基准 上下文推断 词汇记忆 生成任务 自然语言处理

📋 核心要点

  1. 现有语言模型在处理韩语新词时，面临词汇记忆与上下文推断之间的显著差异，导致理解能力有限。
  2. 本文提出NeoTrace框架，系统收集和标记新词，并构建KoAGE基准测试，以评估模型的获取与生成能力。
  3. 实验结果表明，模型对截止年份词汇的定义能力较低，但在上下文中推断意义的能力较强，揭示了模型的局限性。

📝 摘要（中文）

韩语新词的产生机制多样，超出了语言模型的词汇记忆能力。为系统评估语言模型的表现，本文提出了NeoTrace框架，自动收集和标记新词。KoAGE基准测试包含三项获取任务和两项生成任务，首次在原始材料和社区背景下比较模型生成的新词与已证实的新词。研究发现，在21个模型中，词汇回忆与上下文推断存在差异，模型仅能定义13-30%的截止年份词汇，但能从单一用法中推断意义。尽管在单一模型中，词汇构建机制与人类相似，但多代理生成则偏向于缩写，依赖于交互框架。

🔬 方法详解

问题定义：本文旨在解决语言模型在理解和生成韩语新词时的局限性，现有方法主要依赖词汇记忆，缺乏对新词形成机制的深入理解。

核心思路：通过引入NeoTrace框架，系统化地收集和标记新词，构建KoAGE基准测试，以评估模型在新词获取和生成方面的能力，特别是在上下文中的表现。

技术框架：NeoTrace框架包括数据收集、标记和分析模块，支持对新词的时间标记和跨领域评估。KoAGE基准测试则设定了多种任务，涵盖获取与生成。

关键创新：本文的创新在于首次比较模型生成的新词与已证实的新词，强调了模型在上下文理解与词汇记忆之间的差异，提供了更全面的评估标准。

关键设计：在实验中，模型的参数设置和损失函数经过精心设计，以确保在不同任务中能够有效评估模型的表现，特别是在生成任务中，关注模型对新词的构建能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在21个模型中，模型对截止年份词汇的定义能力仅为13-30%，但在上下文中推断意义的能力较强，表明模型在新词生成方面的表现与人类相似，尤其在单一模型中，构建机制与人类相似，而多代理生成则偏向于缩写。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、社交媒体分析和语言教育等。通过评估语言模型对新词的理解与生成能力，可以为语言技术的改进提供依据，推动智能助手和翻译系统的进步。未来，该框架还可扩展至其他语言的新词研究，促进跨语言的语言模型发展。

📄 摘要（原文）

Korean neologisms arise through diverse mechanisms, a demanding test of language models beyond lexical memorization. To enable systematic evaluation, we introduce NeoTrace, an automated, rerunnable framework that collects and dates neologisms across genres. Its 4,271 entries support KoAGE, a cutoff-aware benchmark with three acquisition and two generation tasks---the latter, to our knowledge, the first to compare model coinages with attested neologisms under their original materials and community context. Across 21 models, lexical recall diverges from contextual inference: in a five-model temporal analysis, models define only 13-30% of cutoff-year words, yet can infer meaning from one usage. However, structural understanding remains limited: even correct definitions barely improve formation analysis of pre-cutoff neologisms. Given word-building materials, single models often follow human formation mechanisms, whereas multi-agent coinage favors abbreviation and depends on interaction framing. KoAGE thus separates what models know, learn from use, and coin.