Fane at SemEval-2025 Task 10: Zero-Shot Entity Framing with Large Language Models
作者: Enfa Fane, Mihai Surdeanu, Eduardo Blanco, Steven R. Corman
分类: cs.CL, cs.CY
发布日期: 2025-04-29
备注: Accepted to The 19th International Workshop on Semantic Evaluation (Semeval 2025)
💡 一句话要点
利用大型语言模型实现零样本实体框架分类，提升新闻叙事理解
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 零样本学习 实体框架 新闻叙事 提示工程
📋 核心要点
- 现有方法在理解新闻叙事如何构建实体框架方面存在不足，难以准确把握媒体对社会事件认知的影响。
- 论文提出一种基于大型语言模型的分层方法，通过分解任务并优化提示策略，提升零样本实体框架分类的性能。
- 实验结果表明，该方法在主要角色准确率上达到89.4%，精确匹配率达到34.5%，显著提升了实体框架分类的准确性。
📝 摘要（中文）
本文评估了大型语言模型（LLMs）在零样本条件下对框架角色进行分类的能力，旨在理解新闻叙事如何构建实体框架，从而研究媒体对社会事件认知的影响。通过系统的实验，我们评估了输入上下文、提示策略和任务分解的影响。研究结果表明，先识别宽泛的角色，再识别精细角色的分层方法优于单步分类。我们还证明了最佳输入上下文和提示在不同任务级别上有所不同，突出了针对子任务制定特定策略的必要性。我们的方法实现了89.4%的主要角色准确率和34.5%的精确匹配率，证明了其有效性。研究结果强调了定制提示设计和优化输入上下文对于提高LLM在实体框架分类任务中性能的重要性。
🔬 方法详解
问题定义：论文旨在解决新闻报道中实体框架的自动分类问题。现有方法在理解新闻叙事如何塑造读者对事件的认知方面存在局限性，尤其是在缺乏标注数据的情况下，零样本学习面临挑战。准确识别实体在新闻叙事中的角色，有助于深入分析媒体的影响力。
核心思路：论文的核心思路是利用大型语言模型（LLMs）的强大语言理解和生成能力，通过精心设计的提示（prompt）和任务分解策略，实现零样本实体框架分类。通过分层方法，先确定宽泛的角色，再细化到具体角色，从而提高分类的准确性和效率。
技术框架：整体框架包含以下两个主要阶段：1) 宽泛角色识别：使用LLM对实体进行宽泛的角色分类，例如“行动者”、“受害者”等。输入包括新闻文本和实体信息，通过提示工程引导LLM进行分类。2) 精细角色识别：在宽泛角色分类的基础上，进一步对实体进行更精细的角色分类，例如“主要行动者”、“次要受害者”等。同样采用提示工程，但针对不同的宽泛角色类别，设计不同的提示。
关键创新：论文的关键创新在于：1) 分层分类方法：将实体框架分类任务分解为宽泛角色识别和精细角色识别两个阶段，利用LLM的推理能力逐步缩小搜索空间，提高分类准确性。2) 任务特定提示优化：针对不同的任务阶段和角色类别，设计不同的提示策略，充分利用LLM的知识和推理能力。
关键设计：论文的关键设计包括：1) 提示工程：设计清晰、简洁的提示，引导LLM理解任务目标并生成正确的分类结果。提示中包含任务描述、输入示例和输出格式要求。2) 输入上下文选择：选择与实体相关的关键上下文信息，例如包含实体的句子或段落，以提高LLM的分类准确性。3) 分层分类阈值：在分层分类过程中，可以设置阈值来过滤掉置信度较低的分类结果，从而提高整体的分类精度。
📊 实验亮点
实验结果表明，论文提出的分层方法在主要角色准确率上达到89.4%，精确匹配率达到34.5%，显著优于单步分类方法。通过对比不同提示策略和输入上下文，验证了任务特定提示优化和上下文选择的重要性。这些结果表明，大型语言模型在零样本实体框架分类任务中具有巨大的潜力。
🎯 应用场景
该研究成果可应用于舆情分析、新闻内容理解、虚假信息检测等领域。通过自动识别新闻报道中的实体框架，可以帮助分析媒体的报道倾向，评估信息传播的影响，并为公众提供更客观、全面的信息视角。未来，该技术可进一步应用于个性化新闻推荐、智能信息检索等场景。
📄 摘要（原文）
Understanding how news narratives frame entities is crucial for studying media's impact on societal perceptions of events. In this paper, we evaluate the zero-shot capabilities of large language models (LLMs) in classifying framing roles. Through systematic experimentation, we assess the effects of input context, prompting strategies, and task decomposition. Our findings show that a hierarchical approach of first identifying broad roles and then fine-grained roles, outperforms single-step classification. We also demonstrate that optimal input contexts and prompts vary across task levels, highlighting the need for subtask-specific strategies. We achieve a Main Role Accuracy of 89.4% and an Exact Match Ratio of 34.5%, demonstrating the effectiveness of our approach. Our findings emphasize the importance of tailored prompt design and input context optimization for improving LLM performance in entity framing.