Deciphering Political Entity Sentiment in News with Large Language Models: Zero-Shot and Few-Shot Strategies

📄 arXiv: 2404.04361v1 📥 PDF

作者: Alapan Kuila, Sudeshna Sarkar

分类: cs.CL

发布日期: 2024-04-05

备注: Accepted in PoliticalNLP workshop co-located with LREC-COLING 2024

💡 一句话要点

利用大语言模型进行政治实体情感分析的零-shot与少-shot策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 大语言模型 政治新闻 零-shot学习 少-shot学习 链式思维 自一致性机制

📋 核心要点

  1. 现有情感分析方法在捕捉政治新闻中实体特定情感方面存在不足，尤其是在复杂的上下文中。
  2. 本文提出利用大语言模型（LLMs）结合零-shot和少-shot策略，增强对政治实体情感的识别能力。
  3. 实验结果显示，LLMs在情感预测准确性上超越了传统的微调BERT模型，且上下文学习显著提升了性能。

📝 摘要（中文）

情感分析在理解公众舆论中起着关键作用，尤其是在政治领域，新闻中对实体的描绘影响公众认知。本文研究了大语言模型（LLMs）在预测政治新闻中实体特定情感的有效性。通过零-shot和少-shot策略，我们探讨了LLMs在新闻内容中辨别政治实体情感的能力。采用链式思维（COT）方法，并在少-shot上下文学习中增强推理，我们评估了该方法是否提高了情感预测的准确性。实验结果表明，LLMs在捕捉实体特定情感方面优于微调的BERT模型。我们发现上下文学习显著提升了模型性能，而自一致性机制增强了情感预测的一致性。尽管结果令人鼓舞，但我们观察到COT提示方法的有效性存在不一致性。总体而言，研究强调了LLMs在政治新闻领域的实体中心情感分析中的潜力，并突出了合适的提示策略和模型架构的重要性。

🔬 方法详解

问题定义：本文旨在解决在政治新闻中对实体特定情感的预测问题，现有方法在复杂上下文中表现不佳，难以准确捕捉情感倾向。

核心思路：通过利用大语言模型（LLMs）并结合零-shot和少-shot学习策略，论文探讨了如何有效地识别和预测政治实体的情感。链式思维（COT）方法的引入旨在增强模型的推理能力，从而提高情感分析的准确性。

技术框架：整体架构包括数据预处理、模型输入设计、情感预测模块和结果评估。模型通过上下文学习进行训练，结合COT方法进行推理，最终输出情感预测结果。

关键创新：最重要的创新在于将链式思维（COT）与少-shot学习结合，提升了模型在复杂情感分析任务中的表现。这一方法与传统的微调方法相比，能够更好地适应多变的上下文。

关键设计：在模型设计中，采用了自一致性机制以增强情感预测的一致性，同时在少-shot学习中引入了推理过程，以提高模型的学习效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用大语言模型（LLMs）进行情感分析时，其准确性超过了微调的BERT模型，且在上下文学习的帮助下，模型性能显著提升。具体而言，LLMs在情感预测任务中表现出更高的一致性和准确性，显示出其在政治新闻分析中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括政治舆论监测、新闻分析和公共政策制定等。通过准确识别政治实体的情感倾向，决策者可以更好地理解公众反应，从而制定更有效的沟通策略和政策。此外，该方法也可扩展到其他领域的情感分析，如社交媒体和市场调研。

📄 摘要（原文）

Sentiment analysis plays a pivotal role in understanding public opinion, particularly in the political domain where the portrayal of entities in news articles influences public perception. In this paper, we investigate the effectiveness of Large Language Models (LLMs) in predicting entity-specific sentiment from political news articles. Leveraging zero-shot and few-shot strategies, we explore the capability of LLMs to discern sentiment towards political entities in news content. Employing a chain-of-thought (COT) approach augmented with rationale in few-shot in-context learning, we assess whether this method enhances sentiment prediction accuracy. Our evaluation on sentiment-labeled datasets demonstrates that LLMs, outperform fine-tuned BERT models in capturing entity-specific sentiment. We find that learning in-context significantly improves model performance, while the self-consistency mechanism enhances consistency in sentiment prediction. Despite the promising results, we observe inconsistencies in the effectiveness of the COT prompting method. Overall, our findings underscore the potential of LLMs in entity-centric sentiment analysis within the political news domain and highlight the importance of suitable prompting strategies and model architectures.