Enhancing Granular Sentiment Classification with Chain-of-Thought Prompting in Large Language Models

📄 arXiv: 2505.04135v1 📥 PDF

作者: Vihaan Miriyala, Smrithi Bukkapatnam, Lavanya Prahallad

分类: cs.CL, cs.LG

发布日期: 2025-05-07

备注: 5 pages

💡 一句话要点

利用思维链提示增强大语言模型在细粒度情感分类中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分类 思维链提示 大语言模型 自然语言处理 应用商店评论

📋 核心要点

  1. 现有情感分析方法难以捕捉用户反馈中细微的情感差异，导致分类精度不足。
  2. 论文提出利用思维链提示（CoT）引导大语言模型进行显式推理，从而提升情感分类的准确性。
  3. 实验结果表明，CoT提示能显著提高情感分类的准确率，从84%提升至93%。

📝 摘要（中文）

本文探讨了使用大型语言模型（LLMs）中的思维链（Chain-of-Thought，CoT）提示，以提高应用商店评论中细粒度情感分类的准确性。传统的数字和基于极性的评分通常无法捕捉用户反馈中蕴含的细微情感。我们通过比较每种方法对2000条亚马逊应用评论的预测与人工判断，评估了CoT提示与简单提示的有效性。CoT提示将分类准确率从84%提高到93%，突出了显式推理在增强情感分析性能方面的优势。

🔬 方法详解

问题定义：论文旨在解决应用商店评论等文本中细粒度情感分类的问题。现有方法，如传统的数字评分或极性分析，无法充分捕捉用户反馈中复杂和细微的情感表达，导致情感分类的准确性受限。

核心思路：论文的核心思路是利用大型语言模型的思维链（CoT）提示能力，引导模型逐步进行推理，从而更准确地理解文本中的情感。通过显式地模拟人类的思考过程，CoT提示能够帮助模型更好地把握文本的上下文和情感倾向。

技术框架：该方法主要包括以下步骤：首先，构建包含应用商店评论的数据集。然后，分别使用简单提示和CoT提示来引导大型语言模型进行情感分类。CoT提示通过一系列中间推理步骤，例如识别评论中的关键情感词、分析情感表达的上下文等，来逐步推导出最终的情感分类结果。最后，将模型的预测结果与人工标注结果进行比较，评估两种提示方法的性能。

关键创新：该论文的关键创新在于将思维链提示（CoT）应用于细粒度情感分类任务。与传统的简单提示相比，CoT提示能够促使模型进行更深入的推理，从而更好地理解文本中的情感。这种方法能够有效地提高情感分类的准确性，尤其是在处理复杂和细微的情感表达时。

关键设计：CoT提示的设计是关键。具体来说，需要设计一系列能够引导模型进行情感推理的中间步骤。例如，可以提示模型首先识别评论中的情感词，然后分析这些情感词的上下文，最后综合考虑所有因素来判断评论的情感倾向。此外，选择合适的大型语言模型也至关重要，因为不同的模型具有不同的推理能力。

📊 实验亮点

实验结果表明，在2000条亚马逊应用评论数据集上，使用CoT提示的大型语言模型的情感分类准确率从84%提高到93%。这一显著的提升表明，CoT提示能够有效地增强模型的情感理解能力，从而提高情感分类的准确性。该结果验证了CoT提示在细粒度情感分类任务中的有效性。

🎯 应用场景

该研究成果可广泛应用于情感分析领域，例如舆情监控、产品评价分析、客户服务等。通过更准确地理解用户的情感，企业可以更好地了解用户需求，改进产品和服务，提升用户满意度。此外，该方法还可以应用于其他自然语言处理任务，例如文本摘要、机器翻译等。

📄 摘要（原文）

We explore the use of Chain-of-Thought (CoT) prompting with large language models (LLMs) to improve the accuracy of granular sentiment categorization in app store reviews. Traditional numeric and polarity-based ratings often fail to capture the nuanced sentiment embedded in user feedback. We evaluated the effectiveness of CoT prompting versus simple prompting on 2000 Amazon app reviews by comparing each method's predictions to human judgements. CoT prompting improved classification accuracy from 84% to 93% highlighting the benefit of explicit reasoning in enhancing sentiment analysis performance.