Can LLMs Follow the Pulse of a Crisis? Evaluating Crisis Sentiment in Bangladesh's July Uprising
作者: Md. Samiul Alim, Mahir Shahriar Tamim, Tanvir Ahmed Khan, Sharjil Khan, Rafia Ferdous Duti, Shahriyar Zaman Ridoy, Mohammad Ali Moni
分类: cs.CL
发布日期: 2026-09-15
备注: Accepted at AACL
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出UNRESTSENT200K数据集以解决孟加拉危机情感分析问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 危机情感分析 低资源语言 社交媒体评论 数据集构建 上下文感知 时间鲁棒性 模型评估
📋 核心要点
- 现有的情感分析方法在低资源语言中面临挑战，尤其是在快速变化的危机情境下，难以准确捕捉公众情感。
- 本文提出UNRESTSENT200K数据集，包含丰富的社交媒体评论，旨在通过上下文和时间维度提升情感分析的准确性。
- 实验结果显示，使用父帖子上下文可以显著提高模型性能，但在不同阶段间的时间变化仍然导致性能下降。
📝 摘要（中文）
危机情感分析在低资源语言如孟加拉语中尤为困难，因其语言、语境和公众反应变化迅速。本文引入UNRESTSENT200K数据集，包含约20万条来自2024年孟加拉七月起义的Facebook和YouTube评论，覆盖从早期升级到政权过渡及后期洪灾的五个事件阶段。所有评论均通过14名母语为孟加拉语的注释员进行人工标注，达成较高的一致性。实验表明，父帖子上下文显著提高性能，但阶段间的时间变化导致性能大幅下降。UNRESTSENT200K为低资源危机话语中的上下文感知和时间鲁棒性情感分析提供了基准。
🔬 方法详解
问题定义：本文旨在解决低资源语言（如孟加拉语）中危机情感分析的挑战，现有方法在快速变化的社会情境中表现不佳，尤其是在处理讽刺和隐含政治信息时。
核心思路：通过构建UNRESTSENT200K数据集，提供丰富的上下文信息，帮助模型更好地理解和分析情感，尤其是在不同时间阶段的变化。
技术框架：整体流程包括数据收集、注释、模型训练和评估。数据集包含五个事件阶段的评论，并通过父帖子进行上下文关联，模型则包括微调的编码器和LLM。
关键创新：UNRESTSENT200K数据集的构建及其上下文关联的设计是本文的主要创新，与现有方法相比，提供了更丰富的上下文信息和时间维度的分析。
关键设计：使用14名母语注释员进行人工标注，确保数据质量，采用Kappa和Alpha指标评估一致性，实验中使用了多种模型架构，包括LoRA调优的LLM。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用父帖子上下文可以显著提高情感分析的性能，具体表现为Kappa值达到0.73，Alpha值为0.71，盲审一致性高达94.2%。然而，模型在处理讽刺和隐含政治信息时仍存在困难，且不同阶段间的时间变化导致性能下降。
🎯 应用场景
该研究的潜在应用领域包括社交媒体监测、公共舆论分析和危机管理等。通过提供高质量的情感分析工具，能够帮助决策者及时了解公众情绪，制定有效的应对策略，具有重要的社会价值和实际影响。
📄 摘要（原文）
Crisis sentiment analysis is especially challenging for low-resource languages such as Bangla, where language, context, and public reaction shift rapidly. We introduce UNRESTSENT200K, a Bangla crisis sentiment dataset with approximately 200K Facebook and YouTube comments from the July-August 2024 Bangladesh uprising. The dataset covers five event-aligned phases, from early escalation and internet blackout to regime transition and a later flood crisis. Each comment is linked to its parent post, enabling evaluation with and without discourse context. All comments are annotated through a fully human process involving 14 native Bangla-speaking annotators and senior validation, achieving substantial agreement (kappa = 0.73, alpha = 0.71) and 94.2% blind-audit agreement. We benchmark fine-tuned encoders, prompted LLMs, and LoRA-tuned LLMs. Results show that parent-post context consistently improves performance, while temporal shift across phases causes large performance drops. Strong LLMs perform well, but still struggle with sarcasm, implicit political references, and phase-dependent meaning. UNRESTSENT200K provides a benchmark for studying context-aware and temporally robust sentiment analysis in low-resource crisis discourse. UNRESTSENT200K is available at https://sami0055.github.io/UNRESTSENT200K/