Can LLMs assist with Ambiguity? A Quantitative Evaluation of various Large Language Models on Word Sense Disambiguation

📄 arXiv: 2411.18337v5 📥 PDF

作者: T. G. D. K. Sumanathilaka, Nicholas Micallef, Julian Hough

分类: cs.CL

发布日期: 2024-11-27 (更新: 2025-09-15)

备注: 12 pages,6 tables, 1 figure, Proceedings of the 1st International Conference on NLP & AI for Cyber Security

💡 一句话要点

提出结合提示增强和知识库的LLM方法，提升词义消歧性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 词义消歧 大型语言模型 提示工程 知识库 人机协作

📋 核心要点

  1. 词义消歧面临数据稀缺挑战，传统方法在处理歧义词时效果不佳，影响下游任务。
  2. 结合知识库和提示工程，利用LLM的强大能力，通过人机协作增强提示信息，提升消歧准确性。
  3. 实验表明，该方法在FEWS数据集上表现出显著的性能提升，验证了其有效性。

📝 摘要（中文）

本文研究了利用大型语言模型（LLMs）改进词义消歧（WSD）的方法，针对现代数字通信中常见的词汇歧义问题，传统WSD方法因数据有限而面临挑战，进而影响翻译、信息检索和问答系统的效率。本研究提出了一种新颖的方法，将系统性的提示增强机制与包含不同语义解释的知识库（KB）相结合。该方法采用人机协作的提示增强方式，利用词性（POS）标注、歧义词的同义词、基于方面的语义过滤和少样本提示来引导LLM。通过使用少样本链式思考（COT）提示方法，本文展示了性能的显著提升。评估使用了FEWS测试数据和语义标签。这项研究推进了社交媒体和数字通信中准确的词义解释。

🔬 方法详解

问题定义：论文旨在解决词义消歧（WSD）问题，即确定上下文中特定词语的正确含义。现有WSD方法，特别是传统方法，在数据稀缺的情况下表现不佳，无法有效处理数字通信中普遍存在的词汇歧义。这些方法的痛点在于对上下文信息的利用不足，以及难以泛化到新的领域和语境。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的强大语言理解和生成能力，结合知识库（KB）提供的语义信息，并通过精心设计的提示（Prompt）引导LLM进行词义消歧。通过人机协作的方式增强提示信息，从而提高LLM的消歧准确性。

技术框架：该方法的技术框架主要包括以下几个阶段：1) 提示构建：利用词性标注、歧义词的同义词、基于方面的语义过滤等技术，构建包含丰富上下文信息的提示。2) 知识库集成：利用知识库提供不同语义的解释，为LLM提供参考。3) LLM推理：使用少样本链式思考（COT）提示方法，引导LLM进行词义消歧。4) 人工干预：通过人机协作的方式，对提示进行优化和调整，进一步提升LLM的性能。

关键创新：该方法最重要的技术创新点在于将提示增强机制与知识库相结合，并采用人机协作的方式进行提示优化。与现有方法相比，该方法能够更有效地利用LLM的语言理解能力，并结合知识库提供的语义信息，从而提高词义消歧的准确性。此外，人机协作的方式能够不断优化提示，使LLM更好地适应不同的语境和领域。

关键设计：在提示构建方面，论文使用了词性标注来提供词语的语法信息，利用同义词来扩展上下文信息，并使用基于方面的语义过滤来排除不相关的语义。在LLM推理方面，论文采用了少样本链式思考（COT）提示方法，通过提供少量示例来引导LLM进行推理。具体参数设置和网络结构等技术细节在论文中未详细描述，属于未知信息。

📊 实验亮点

实验结果表明，该方法在FEWS数据集上取得了显著的性能提升。具体性能数据和对比基线在摘要中未提及，属于未知信息。但论文强调，通过结合提示增强和知识库，并采用少样本链式思考（COT）提示方法，能够有效提高词义消歧的准确性。

🎯 应用场景

该研究成果可应用于多种场景，包括提升机器翻译的准确性、改进信息检索的效果、优化问答系统的性能，以及增强社交媒体内容理解。通过更准确地理解词语含义，可以提高自然语言处理系统的整体性能，并为更智能的人机交互提供支持。未来，该方法有望应用于更广泛的领域，例如智能客服、舆情分析等。

📄 摘要（原文）

Ambiguous words are often found in modern digital communications. Lexical ambiguity challenges traditional Word Sense Disambiguation (WSD) methods, due to limited data. Consequently, the efficiency of translation, information retrieval, and question-answering systems is hindered by these limitations. This study investigates the use of Large Language Models (LLMs) to improve WSD using a novel approach combining a systematic prompt augmentation mechanism with a knowledge base (KB) consisting of different sense interpretations. The proposed method incorporates a human-in-loop approach for prompt augmentation where prompt is supported by Part-of-Speech (POS) tagging, synonyms of ambiguous words, aspect-based sense filtering and few-shot prompting to guide the LLM. By utilizing a few-shot Chain of Thought (COT) prompting-based approach, this work demonstrates a substantial improvement in performance. The evaluation was conducted using FEWS test data and sense tags. This research advances accurate word interpretation in social media and digital communication.