Explaining novel senses using definition generation with open language models

📄 arXiv: 2509.26181v2 📥 PDF

作者: Mariia Fedorova, Andrey Kutuzov, Francesco Periti, Yves Scherrer

分类: cs.CL

发布日期: 2025-09-30 (更新: 2025-10-01)

备注: EMNLP 2025 Findings

💡 一句话要点

利用开源语言模型生成定义解释词义演变，性能超越闭源模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 词义演变 定义生成 开源语言模型 语义变化建模 自然语言处理

📋 核心要点

  1. 现有语义变化建模方法依赖闭源LLM，成本高且透明度低，限制了研究的复现性和可及性。
  2. 本文提出利用开源LLM生成词义定义，解释词义演变，降低成本并提高模型的可解释性。
  3. 实验结果表明，微调后的开源模型在词义解释任务上超越了使用闭源LLM的最佳模型。

📝 摘要（中文）

本文应用基于开源大型语言模型的定义生成器，针对目标词语用法，创建对新词义的解释。为此，我们采用了AXOLOTL'24共享任务中关于可解释语义变化建模的数据集，该数据集包含芬兰语、俄语和德语。我们对开源模型进行了微调，并公开了这些模型，它们的性能优于上述共享任务的最佳提交结果，而那些最佳提交结果使用了闭源专有LLM。此外，我们发现编码器-解码器定义生成器的性能与仅解码器生成器相当。

🔬 方法详解

问题定义：论文旨在解决如何利用可解释的方式来理解和解释词义的演变。现有方法，特别是AXOLOTL'24共享任务中的方法，依赖于闭源的专有大型语言模型（LLM）。这些闭源模型存在成本高昂、透明度低以及难以复现等问题，阻碍了该领域的研究进展。因此，需要一种更开放、可复现且性能优异的解决方案来解释词义演变。

核心思路：论文的核心思路是利用开源的大型语言模型（LLM）作为定义生成器，通过输入目标词语的用法示例，自动生成对该词语新词义的解释。这种方法旨在提供一种更经济、透明且可控的方式来理解词义演变，同时避免对闭源模型的依赖。通过微调开源模型，使其能够更好地适应词义解释任务，从而提高生成定义的质量和准确性。

技术框架：整体框架包括以下几个主要步骤：1) 数据准备：使用AXOLOTL'24共享任务提供的包含芬兰语、俄语和德语的数据集，该数据集包含词语及其上下文用法示例。2) 模型选择：选择合适的开源大型语言模型作为定义生成器的基础模型。论文同时考虑了编码器-解码器模型和仅解码器模型。3) 模型微调：使用准备好的数据集对选定的开源模型进行微调，使其能够根据输入的词语用法示例生成相应的词义解释。4) 评估：使用适当的指标评估生成定义的质量和准确性，并与AXOLOTL'24共享任务中的最佳结果进行比较。

关键创新：论文的关键创新在于：1) 使用开源LLM替代闭源LLM进行词义解释，降低了研究成本并提高了可复现性。2) 证明了开源模型经过微调后，其性能可以超越使用闭源LLM的最佳模型。3) 发现编码器-解码器定义生成器与仅解码器生成器在词义解释任务中表现相当，为模型选择提供了新的视角。

关键设计：论文的关键设计包括：1) 模型选择：选择了合适的开源LLM，具体模型名称未知，但强调了开源的特性。2) 微调策略：使用了AXOLOTL'24共享任务的数据集进行微调，具体微调参数和损失函数未知。3) 评估指标：使用了AXOLOTL'24共享任务中使用的评估指标，具体指标未知，但用于比较不同模型的性能。

📊 实验亮点

实验结果表明，经过微调的开源语言模型在词义解释任务上取得了显著的性能提升，超越了AXOLOTL'24共享任务中使用闭源LLM的最佳提交结果。具体性能数据未知，但强调了开源模型优于闭源模型的结论。此外，研究发现编码器-解码器模型与仅解码器模型表现相当，为模型选择提供了新的选择。

🎯 应用场景

该研究成果可应用于词典编纂、自然语言理解、语义搜索、机器翻译等领域。通过自动生成词义解释，可以帮助人们更好地理解语言的演变和使用，提高机器对语言的理解能力，并促进跨语言交流。未来，该技术还可用于个性化学习、智能客服等场景，提供更精准的语言服务。

📄 摘要（原文）

We apply definition generators based on open-weights large language models to the task of creating explanations of novel senses, taking target word usages as an input. To this end, we employ the datasets from the AXOLOTL'24 shared task on explainable semantic change modeling, which features Finnish, Russian and German languages. We fine-tune and provide publicly the open-source models performing higher than the best submissions of the aforementioned shared task, which employed closed proprietary LLMs. In addition, we find that encoder-decoder definition generators perform on par with their decoder-only counterparts.