Chinese Metaphor Recognition Using a Multi-stage Prompting Large Language Model

📄 arXiv: 2408.09177v1 📥 PDF

作者: Jie Wang, Jin Wang, Xuejie Zhang

分类: cs.CL, cs.AI

发布日期: 2024-08-17

💡 一句话要点

提出多阶段Prompt框架，增强LLM在中文隐喻识别中对Tenor、Vehicle和Ground的理解能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 中文隐喻识别 大型语言模型 Prompt工程 多阶段框架 启发式增强 自然语言处理 NLPCC-2024

📋 核心要点

  1. 现有隐喻识别方法难以处理Tenor或Vehicle缺失的情况，限制了模型的泛化能力。
  2. 提出多阶段Prompt框架，利用小模型生成候选答案，并通过聚类和抽样构建启发式Prompt。
  3. 实验结果表明，该模型在NLPCC-2024 Shared Task 9中取得了显著的性能提升，多个赛道获得第一。

📝 摘要（中文）

隐喻在日常语言中很常见，模型识别和理解隐喻有助于更好地理解文本。现有研究主要通过预训练模型识别和生成隐喻，但无法处理Tenor或Vehicle未包含在隐喻中的情况。大型语言模型（LLM）可以有效解决这个问题，但这个早期研究领域仍有很大的探索空间。本研究提出了一种多阶段生成式启发式增强Prompt框架，以增强LLM识别中文隐喻中Tenor、Vehicle和Ground的能力。第一阶段，训练一个小模型以获得答案候选生成所需的置信度分数。第二阶段，根据特定规则对问题进行聚类和抽样。最后，通过结合生成的答案候选和演示来形成所需的启发式增强Prompt。所提出的模型在NLPCC-2024 Shared Task 9的Subtask 1的Track 1中获得第3名，在Subtask 1的Track 2中获得第1名，在Subtask 2的两个Track中均获得第1名。

🔬 方法详解

问题定义：论文旨在解决中文隐喻识别中，当隐喻的Tenor（本体）或Vehicle（喻体）未直接出现在文本中时，现有模型难以准确识别的问题。现有方法依赖于预训练模型，但缺乏对隐喻深层语义关系的理解，导致泛化能力不足。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大生成能力和上下文理解能力，通过精心设计的Prompt来引导LLM识别隐喻中的Tenor、Vehicle和Ground（喻意）。通过多阶段的Prompt生成过程，逐步提升LLM的识别准确率。

技术框架：整体框架分为三个阶段：1) 候选答案生成阶段：训练一个小模型，用于预测答案候选的置信度分数。2) 问题聚类和抽样阶段：根据特定规则对问题进行聚类，并进行抽样，以选择具有代表性的问题。3) 启发式增强Prompt生成阶段：结合生成的答案候选和抽样的问题，构建启发式增强Prompt，输入到LLM中进行隐喻识别。

关键创新：论文的关键创新在于提出了多阶段生成式启发式增强Prompt框架。该框架通过小模型生成候选答案，并利用问题聚类和抽样来构建更有效的Prompt，从而更好地利用LLM的知识和推理能力。这种方法能够有效解决Tenor或Vehicle缺失情况下的隐喻识别问题。

关键设计：在候选答案生成阶段，具体的小模型选择和训练方法未知。问题聚类和抽样阶段的具体规则未知。启发式增强Prompt的设计细节，例如Prompt的具体格式和内容，也未知。这些细节将直接影响模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该模型在NLPCC-2024 Shared Task 9中表现出色，在Subtask 1的Track 2和Subtask 2的两个Track中均获得第一名，Subtask 1的Track 1中获得第三名。这些结果表明，所提出的多阶段Prompt框架能够有效提升LLM在中文隐喻识别任务中的性能。

🎯 应用场景

该研究成果可应用于自然语言理解、情感分析、智能对话系统等领域。更准确的隐喻识别能够提升机器对文本深层含义的理解，从而改善人机交互体验，并为下游任务提供更可靠的语义基础。未来可应用于文学作品分析、新闻舆情监控等场景。

📄 摘要（原文）

Metaphors are common in everyday language, and the identification and understanding of metaphors are facilitated by models to achieve a better understanding of the text. Metaphors are mainly identified and generated by pre-trained models in existing research, but situations, where tenors or vehicles are not included in the metaphor, cannot be handled. The problem can be effectively solved by using Large Language Models (LLMs), but significant room for exploration remains in this early-stage research area. A multi-stage generative heuristic-enhanced prompt framework is proposed in this study to enhance the ability of LLMs to recognize tenors, vehicles, and grounds in Chinese metaphors. In the first stage, a small model is trained to obtain the required confidence score for answer candidate generation. In the second stage, questions are clustered and sampled according to specific rules. Finally, the heuristic-enhanced prompt needed is formed by combining the generated answer candidates and demonstrations. The proposed model achieved 3rd place in Track 1 of Subtask 1, 1st place in Track 2 of Subtask 1, and 1st place in both tracks of Subtask 2 at the NLPCC-2024 Shared Task 9.