Large Language Models for Sentiment Analysis to Detect Social Challenges: A Use Case with South African Languages

📄 arXiv: 2511.17301v1 📥 PDF

作者: Koena Ronny Mabokela, Tim Schlippe, Matthias Wölfel

分类: cs.CL, cs.AI

发布日期: 2025-11-21

备注: Published in the Proceedings of The Southern African Conference on AI Research (SACAIR 2024), Bloemfontein, South Africa, 2-6 December 2024. ISBN: 978-0-7961-6069-0

💡 一句话要点

利用大型语言模型进行情感分析，以检测南非语言中的社会挑战。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 大型语言模型 南非语言 零样本学习 社会挑战 社交媒体分析 多语言处理

📋 核心要点

  1. 现有情感分析系统在多语言环境下，尤其是在南非语言中，对社交媒体内容的情感分析能力不足，难以有效识别社会挑战。
  2. 该研究探索了利用大型语言模型（LLM）的零样本学习能力，直接应用于南非语言社交媒体文本的情感分析，无需额外训练。
  3. 实验结果表明，不同LLM在不同语言和话题上的表现差异显著，但通过融合多个LLM的结果，可以显著提高情感分类的准确性。

📝 摘要（中文）

情感分析有助于理解人们对社会问题的观点和情绪。在多语言社区中，情感分析系统可用于快速识别社交媒体帖子中的社会挑战，使政府部门能够更精确有效地检测和解决这些问题。最近，大型语言模型（LLM）已广泛可用，初步分析表明它们在英语中表现出出色的零样本情感分析能力。然而，目前还没有工作研究利用LLM对南非语言的社交媒体帖子进行情感分析，并检测社会挑战。因此，本文分析了最先进的LLM（GPT-3.5、GPT-4、LlaMa 2、PaLM 2和Dolly 2）的零样本性能，以研究10个南非政府部门管辖范围内，英语、Sepedi和Setswana社交媒体帖子中10个最热门话题的情感极性。结果表明，不同的LLM、话题和语言之间存在很大差异。此外，我们表明，不同LLM结果的融合可以显著提高情感分类性能，情感分类误差低于1%。因此，现在可以提供生成关于情感分析的可靠信息的系统，以检测社会挑战，并得出关于特定主题和不同语言群体中可能需要采取行动的结论。

🔬 方法详解

问题定义：该论文旨在解决南非多语言环境下，利用社交媒体数据检测社会挑战的问题。现有方法在处理南非本地语言时，由于数据稀缺和语言复杂性，表现不佳。因此，需要一种能够有效处理多种语言，且无需大量标注数据的解决方案。

核心思路：核心思路是利用大型语言模型（LLM）强大的零样本学习能力，直接对南非语言的社交媒体文本进行情感分析。通过比较不同LLM在不同语言和话题上的表现，并融合多个LLM的结果，提高情感分类的准确性。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 收集南非社交媒体数据，涵盖英语、Sepedi和Setswana三种语言；2) 确定10个南非政府部门管辖范围内的10个最热门话题；3) 使用GPT-3.5、GPT-4、LlaMa 2、PaLM 2和Dolly 2等LLM对每个话题下的文本进行情感分析，得到情感极性（正面、负面、中性）；4) 分析不同LLM在不同语言和话题上的表现差异；5) 融合多个LLM的结果，提高情感分类的准确性。

关键创新：该研究的关键创新在于首次探索了利用大型语言模型进行南非语言社交媒体文本情感分析的可能性，并验证了LLM在零样本学习场景下的有效性。此外，通过融合多个LLM的结果，显著提高了情感分类的准确性，为实际应用提供了可行性。

关键设计：该研究的关键设计包括：1) 选择具有代表性的南非语言（英语、Sepedi和Setswana）；2) 选择具有实际意义的社会话题，与政府部门的管辖范围相关联；3) 采用多种LLM进行比较，评估其在不同语言和话题上的表现；4) 使用简单的融合方法（例如，投票）来结合多个LLM的结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，不同的LLM在不同语言和话题上的表现存在显著差异。通过融合多个LLM的结果，情感分类误差可以降低到1%以下，显著提高了情感分析的准确性。这表明，利用LLM进行南非语言的情感分析是可行的，并且具有很大的潜力。

🎯 应用场景

该研究成果可应用于政府部门、非营利组织和研究机构，用于监测社会舆情、识别社会挑战、评估政策效果和制定干预措施。通过分析社交媒体数据中的情感极性，可以更及时、准确地了解公众对特定问题的看法，为决策提供依据，并促进社会和谐发展。未来，该技术可扩展到其他语言和领域，为更广泛的社会问题提供解决方案。

📄 摘要（原文）

Sentiment analysis can aid in understanding people's opinions and emotions on social issues. In multilingual communities sentiment analysis systems can be used to quickly identify social challenges in social media posts, enabling government departments to detect and address these issues more precisely and effectively. Recently, large-language models (LLMs) have become available to the wide public and initial analyses have shown that they exhibit magnificent zero-shot sentiment analysis abilities in English. However, there is no work that has investigated to leverage LLMs for sentiment analysis on social media posts in South African languages and detect social challenges. Consequently, in this work, we analyse the zero-shot performance of the state-of-the-art LLMs GPT-3.5, GPT-4, LlaMa 2, PaLM 2, and Dolly 2 to investigate the sentiment polarities of the 10 most emerging topics in English, Sepedi and Setswana social media posts that fall within the jurisdictional areas of 10 South African government departments. Our results demonstrate that there are big differences between the various LLMs, topics, and languages. In addition, we show that a fusion of the outcomes of different LLMs provides large gains in sentiment classification performance with sentiment classification errors below 1%. Consequently, it is now feasible to provide systems that generate reliable information about sentiment analysis to detect social challenges and draw conclusions about possible needs for actions on specific topics and within different language groups.