Multi-Stakeholder Disaster Insights from Social Media Using Large Language Models
作者: Loris Belcastro, Cristian Cosentino, Fabrizio Marozzo, Merve Gündüz-Cüre, Sule Öztürk-Birim
分类: cs.CL, cs.AI, cs.ET, cs.SI
发布日期: 2025-03-30 (更新: 2025-04-17)
💡 一句话要点
利用大型语言模型从社交媒体提取多方利益相关者的灾害洞察
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 社交媒体分析 灾害管理 信息提取 多维度分类
📋 核心要点
- 现有方法难以自动化、聚合和定制社交媒体数据，无法为不同利益相关者提供量身定制的可操作的灾害洞察。
- 该论文提出了一种结合分类技术和生成式AI的方法，利用LLM从社交媒体中提取并定制灾害信息，以满足不同利益相关者的需求。
- 实验结果表明，该方法在文本连贯性、潜在表示以及专家评估方面均优于标准方法，能为灾害响应提供更精确的洞察。
📝 摘要（中文）
近年来，社交媒体已成为用户在灾害和紧急情况下迅速分享反馈和问题的主要渠道，在危机管理中发挥着关键作用。虽然在收集和分析社交媒体内容方面取得了显著进展，但仍迫切需要加强此数据的自动化、聚合和定制，以便为包括媒体、警察、EMS和消防员在内的不同利益相关者提供可操作的见解。这项工作对于改善救援工作、资源分配和媒体沟通等活动的协调至关重要。本文提出了一种利用大型语言模型能力来加强灾害响应和管理的方法。我们的方法将分类技术与生成式AI相结合，以弥合原始用户反馈与特定利益相关者报告之间的差距。对灾难事件期间共享的社交媒体帖子进行分析，重点关注用户报告的问题、服务中断和遇到的挑战。我们采用全谱LLM，使用BERT等分析模型对内容类型、情感、情绪、地理位置和主题进行精确的多维分类。然后，使用ChatGPT等生成模型生成人类可读的、信息丰富的报告，这些报告是为不同的受众量身定制的，综合了从详细分类中获得的见解。我们将直接使用ChatGPT中的提示分析帖子的标准方法与我们的高级方法进行了比较，后者结合了多维分类、子事件选择和定制报告生成。我们的方法在文本连贯性评分和潜在表示等定量指标以及自动化工具和领域专家的定性评估中均表现出卓越的性能，从而为不同的灾害响应利益相关者提供了精确的见解。
🔬 方法详解
问题定义：论文旨在解决灾害事件中，如何高效地从海量社交媒体数据中提取对不同利益相关者（如媒体、警察、消防员等）有用的信息，并以定制化的方式呈现。现有方法主要痛点在于自动化程度低、信息聚合能力弱，无法根据不同角色的需求提供针对性的洞察报告。
核心思路：核心思路是结合LLM的分类和生成能力，首先利用分析模型对社交媒体帖子进行多维度分类（内容类型、情感、地理位置等），然后利用生成模型根据分类结果生成面向特定利益相关者的定制化报告。这种方法旨在弥合原始用户反馈与可操作的、利益相关者特定的报告之间的差距。
技术框架：整体框架包含以下几个主要阶段：1) 社交媒体数据收集；2) 使用BERT等模型进行多维度分类，包括内容类型、情感、情绪、地理位置和主题；3) 子事件选择，即根据分类结果筛选出与特定灾害事件相关的帖子；4) 使用ChatGPT等生成模型，根据分类结果和子事件选择，生成面向不同利益相关者的定制化报告。
关键创新：最重要的创新点在于将多维度分类与生成式AI相结合，实现了社交媒体灾害信息的自动化提取和定制化呈现。与直接使用LLM进行信息提取相比，该方法通过多维度分类提高了信息提取的准确性和针对性，并通过定制化报告满足了不同利益相关者的需求。
关键设计：论文中未明确提及具体的参数设置、损失函数或网络结构等技术细节。但关键在于BERT等分类模型的选择和训练，以及ChatGPT等生成模型的prompt设计，以确保分类的准确性和报告的质量。此外，子事件选择策略也至关重要，需要根据具体灾害事件和利益相关者的需求进行调整。
📊 实验亮点
该研究对比了直接使用ChatGPT进行分析的标准方法和论文提出的高级方法。实验结果表明，该高级方法在文本连贯性评分和潜在表示等定量指标以及自动化工具和领域专家的定性评估中均表现出卓越的性能，为不同的灾害响应利益相关者提供了更精确的见解。具体性能提升数据未知。
🎯 应用场景
该研究成果可应用于各种灾害管理场景，例如地震、洪水、火灾等。通过自动提取和定制社交媒体信息，可以帮助应急响应人员更好地了解灾情、协调救援行动、分配资源，并为媒体提供准确的报道素材。未来，该技术还可扩展到其他领域，例如舆情监控、产品反馈分析等。
📄 摘要（原文）
In recent years, social media has emerged as a primary channel for users to promptly share feedback and issues during disasters and emergencies, playing a key role in crisis management. While significant progress has been made in collecting and analyzing social media content, there remains a pressing need to enhance the automation, aggregation, and customization of this data to deliver actionable insights tailored to diverse stakeholders, including the press, police, EMS, and firefighters. This effort is essential for improving the coordination of activities such as relief efforts, resource distribution, and media communication. This paper presents a methodology that leverages the capabilities of LLMs to enhance disaster response and management. Our approach combines classification techniques with generative AI to bridge the gap between raw user feedback and stakeholder-specific reports. Social media posts shared during catastrophic events are analyzed with a focus on user-reported issues, service interruptions, and encountered challenges. We employ full-spectrum LLMs, using analytical models like BERT for precise, multi-dimensional classification of content type, sentiment, emotion, geolocation, and topic. Generative models such as ChatGPT are then used to produce human-readable, informative reports tailored to distinct audiences, synthesizing insights derived from detailed classifications. We compare standard approaches, which analyze posts directly using prompts in ChatGPT, to our advanced method, which incorporates multi-dimensional classification, sub-event selection, and tailored report generation. Our methodology demonstrates superior performance in both quantitative metrics, such as text coherence scores and latent representations, and qualitative assessments by automated tools and field experts, delivering precise insights for diverse disaster response stakeholders.