Exploring the Word Sense Disambiguation Capabilities of Large Language Models

📄 arXiv: 2503.08662v1 📥 PDF

作者: Pierpaolo Basile, Lucia Siciliani, Elio Musacchio, Giovanni Semeraro

分类: cs.CL, cs.AI

发布日期: 2025-03-11

💡 一句话要点

探索大型语言模型在词义消歧任务中的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 词义消歧 大型语言模型 零样本学习 微调 自然语言处理

📋 核心要点

  1. 传统WSD任务面临挑战，大型语言模型(LLM)的兴起为该领域带来了新的可能性，但其性能需要系统评估。
  2. 论文核心在于评估不同LLM在WSD任务上的表现，并探索微调模型以提升性能的方法。
  3. 实验结果表明，LLM在零样本学习中表现良好，微调后的中等参数模型超越了现有最佳方法。

📝 摘要（中文）

词义消歧(WSD)是计算语言学中一个历史悠久的课题，多年来备受关注。然而，随着大型语言模型(LLM)的出现，人们对这项任务(在其经典定义中)的兴趣有所下降。在本研究中，我们评估了各种LLM在WSD任务上的性能。我们扩展了之前的基准(XL-WSD)，重新设计了两个适合LLM的子任务: 1) 给定句子中的一个词，LLM必须生成正确的定义; 2) 给定句子中的一个词和一组预定义的含义，LLM必须选择正确的含义。扩展后的基准是使用XL-WSD和BabelNet构建的。结果表明，LLM在零样本学习中表现良好，但无法超越当前最先进的方法。然而，一个经过微调的、具有中等数量参数的模型优于所有其他模型，包括最先进的模型。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在词义消歧（WSD）任务上的能力。传统的WSD方法依赖于手工特征工程和特定领域的知识，泛化能力有限。LLM的出现为WSD提供了一种新的途径，但其在WSD任务上的表现尚需系统评估。现有方法难以充分利用LLM的上下文理解能力，且缺乏针对LLM的WSD基准。

核心思路：论文的核心思路是利用LLM强大的语言建模能力，直接进行词义消歧。通过构建合适的WSD子任务，并结合零样本学习和微调策略，探索LLM在不同场景下的性能表现。该思路旨在充分发挥LLM的优势，并克服传统WSD方法的局限性。

技术框架：论文的技术框架主要包括以下几个部分：1) 扩展XL-WSD基准，构建适用于LLM的WSD子任务，包括定义生成和义项选择；2) 采用不同的LLM模型，包括预训练模型和微调模型；3) 设计零样本学习和微调实验，评估LLM在WSD任务上的性能；4) 分析实验结果，探讨LLM在WSD任务中的优势和不足。

关键创新：论文的关键创新在于：1) 针对LLM重新设计了WSD子任务，使其更适合LLM的输入和输出形式；2) 系统评估了不同LLM在WSD任务上的性能，包括零样本学习和微调两种模式；3) 发现微调后的中等参数模型能够超越现有最佳方法，表明LLM在WSD任务上具有巨大的潜力。

关键设计：论文的关键设计包括：1) 使用XL-WSD和BabelNet构建扩展的WSD基准，保证了数据的质量和多样性；2) 设计了定义生成和义项选择两个子任务，全面评估LLM的WSD能力；3) 采用不同的LLM模型，包括BERT、RoBERTa等，考察了模型规模和结构对性能的影响；4) 通过微调策略，优化LLM在WSD任务上的表现，并探索最佳的微调参数。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，LLM在零样本学习中表现良好，但未超越现有最佳方法。然而，经过微调的中等参数模型在两个WSD子任务上均优于所有其他模型，包括最先进的模型，证明了LLM在WSD任务上的巨大潜力。具体而言，微调后的模型在义项选择任务上取得了显著的性能提升。

🎯 应用场景

该研究成果可应用于机器翻译、信息检索、文本摘要等自然语言处理任务中，提高这些任务的准确性和可靠性。例如，在机器翻译中，正确的词义消歧可以避免翻译歧义，提高翻译质量。在信息检索中，可以更准确地理解用户查询意图，提高检索结果的相关性。未来，该研究可以进一步探索LLM在更复杂的语义理解任务中的应用。

📄 摘要（原文）

Word Sense Disambiguation (WSD) is a historical task in computational linguistics that has received much attention over the years. However, with the advent of Large Language Models (LLMs), interest in this task (in its classical definition) has decreased. In this study, we evaluate the performance of various LLMs on the WSD task. We extend a previous benchmark (XL-WSD) to re-design two subtasks suitable for LLM: 1) given a word in a sentence, the LLM must generate the correct definition; 2) given a word in a sentence and a set of predefined meanings, the LLM must select the correct one. The extended benchmark is built using the XL-WSD and BabelNet. The results indicate that LLMs perform well in zero-shot learning but cannot surpass current state-of-the-art methods. However, a fine-tuned model with a medium number of parameters outperforms all other models, including the state-of-the-art.