Research on Predicting Public Opinion Event Heat Levels Based on Large Language Models

📄 arXiv: 2409.18548v1 📥 PDF

作者: Yi Ren, Tianyi Zhang, Weibin Li, DuoMu Zhou, Chenhao Qin, FangCheng Dong

分类: cs.CL, cs.AI

发布日期: 2024-09-27

备注: conference

💡 一句话要点

提出基于大语言模型的舆情事件热度预测方法，探索LLM在舆情分析中的应用潜力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 舆情分析 热度预测 大型语言模型 GPT-4o DeepseekV2 MiniBatchKMeans 案例推理

📋 核心要点

  1. 现有舆情分析方法难以有效利用新兴的大语言模型，缺乏对事件热度等级的精准预测能力。
  2. 提出一种基于大语言模型的舆情事件热度预测方法，利用LLM的语言理解能力进行热度分析。
  3. 实验结果表明，GPT-4o和DeepseekV2在有相似案例参考的情况下表现最佳，低热度事件预测准确率较高。

📝 摘要（中文）

近年来，随着大型语言模型的快速发展，GPT-4o等模型在各种语言任务中表现出非凡的能力，超越了人类的表现。因此，许多研究人员开始探索其在舆情分析领域的潜在应用。本研究提出了一种基于大型语言模型的新型舆情事件热度预测方法。首先，我们对2022年7月至2023年12月期间收集的62836条中文热点事件数据进行了预处理和分类。然后，基于每个事件的在线传播热度指数，我们使用MiniBatchKMeans算法自动聚类事件，并将它们分为四个热度等级（从低热度到非常高热度）。接下来，我们从每个热度等级中随机选择250个事件，总计1000个事件，以构建评估数据集。在评估过程中，我们采用各种大型语言模型来评估它们在两种场景下预测事件热度等级的准确性：无参考案例和有相似案例参考。结果表明，GPT-4o和DeepseekV2在后一种情况下表现最佳，预测准确率分别为41.4%和41.5%。虽然总体预测准确率仍然相对较低，但值得注意的是，对于低热度（1级）事件，这两个模型的预测准确率分别达到73.6%和70.4%。此外，预测准确率呈现从1级到4级的下降趋势，这与实际数据集中各个热度等级的数据分布不均有关。这表明，借助更强大的数据集，基于大型语言模型的舆情事件热度预测将在未来具有重要的研究潜力。

🔬 方法详解

问题定义：论文旨在解决舆情事件热度等级预测的问题。现有方法可能依赖于传统机器学习模型或人工分析，难以有效利用大型语言模型的强大语言理解和推理能力，导致预测精度不高，尤其是在处理复杂或新兴事件时。

核心思路：论文的核心思路是利用大型语言模型对舆情事件进行语义理解和热度分析，通过学习事件描述和热度等级之间的关系，实现对事件热度的自动预测。借鉴了案例推理的思想，通过提供相似案例作为参考，提升模型的预测准确率。

技术框架：整体流程包括以下几个阶段：1) 数据预处理和分类：收集中文热点事件数据，进行清洗和标注。2) 热度等级聚类：使用MiniBatchKMeans算法根据事件的在线传播热度指数将事件聚类为四个热度等级。3) 模型训练与评估：使用大型语言模型（如GPT-4o、DeepseekV2）在构建的评估数据集上进行训练和评估，分别在无参考案例和有相似案例参考两种场景下测试模型的预测准确率。

关键创新：该研究的关键创新在于将大型语言模型应用于舆情事件热度预测，并探索了相似案例参考对预测性能的影响。与传统方法相比，该方法能够更好地利用LLM的语言理解能力，从而提高预测的准确性和效率。

关键设计：论文的关键设计包括：1) 使用MiniBatchKMeans算法进行热度等级聚类，简化了热度等级的划分过程。2) 构建包含四个热度等级的评估数据集，保证了评估的全面性。3) 采用无参考案例和有相似案例参考两种场景进行评估，考察了LLM在不同情境下的表现。没有提及具体的损失函数或网络结构等细节，这部分信息未知。

📊 实验亮点

实验结果表明，GPT-4o和DeepseekV2在有相似案例参考的情况下表现最佳，预测准确率分别为41.4%和41.5%。对于低热度（1级）事件，这两个模型的预测准确率分别达到73.6%和70.4%。虽然总体预测准确率有待提高，但低热度事件的预测效果显著，表明LLM在特定场景下具有较强的预测能力。

🎯 应用场景

该研究成果可应用于舆情监控、风险预警、危机公关等领域。通过自动预测舆情事件的热度等级，可以帮助政府、企业和媒体及时了解社会关注焦点，快速响应突发事件，有效引导社会舆论，维护社会稳定。

📄 摘要（原文）

In recent years, with the rapid development of large language models, serval models such as GPT-4o have demonstrated extraordinary capabilities, surpassing human performance in various language tasks. As a result, many researchers have begun exploring their potential applications in the field of public opinion analysis. This study proposes a novel large-language-models-based method for public opinion event heat level prediction. First, we preprocessed and classified 62,836 Chinese hot event data collected between July 2022 and December 2023. Then, based on each event's online dissemination heat index, we used the MiniBatchKMeans algorithm to automatically cluster the events and categorize them into four heat levels (ranging from low heat to very high heat). Next, we randomly selected 250 events from each heat level, totalling 1,000 events, to build the evaluation dataset. During the evaluation process, we employed various large language models to assess their accuracy in predicting event heat levels in two scenarios: without reference cases and with similar case references. The results showed that GPT-4o and DeepseekV2 performed the best in the latter case, achieving prediction accuracies of 41.4% and 41.5%, respectively. Although the overall prediction accuracy remains relatively low, it is worth noting that for low-heat (Level 1) events, the prediction accuracies of these two models reached 73.6% and 70.4%, respectively. Additionally, the prediction accuracy showed a downward trend from Level 1 to Level 4, which correlates with the uneven distribution of data across the heat levels in the actual dataset. This suggests that with the more robust dataset, public opinion event heat level prediction based on large language models will have significant research potential for the future.