OATH-Frames: Characterizing Online Attitudes Towards Homelessness with LLM Assistants

📄 arXiv: 2406.14883v2 📥 PDF

作者: Jaspreet Ranjit, Brihi Joshi, Rebecca Dorn, Laura Petry, Olga Koumoundouros, Jayne Bottarini, Peichen Liu, Eric Rice, Swabha Swayamdipta

分类: cs.CL, cs.CY

发布日期: 2024-06-21 (更新: 2024-10-28)

备注: Project website: https://dill-lab.github.io/oath-frames/, EMNLP Main 2024

💡 一句话要点

提出OATH-Frames框架，利用LLM辅助分析在线媒体中对无家可归者的态度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 大型语言模型 社会态度分析 无家可归问题 框架构建

📋 核心要点

  1. 现有方法难以大规模理解在线媒体中针对社会问题的公众态度，尤其是在细粒度层面。
  2. 利用大型语言模型辅助社会工作专家，构建OATH框架，对在线帖子进行分类，捕捉公众对无家可归者的态度。
  3. 实验表明，该方法在加速标注的同时，性能损失较小，并能有效揭示不同群体对无家可归问题的态度趋势。

📝 摘要（中文）

本研究利用大型语言模型(LLM)的能力，辅助社会工作专家分析Twitter上数百万条关于美国无家可归问题的帖子，旨在理解公众对这一关键社会问题的态度。我们提出了一个框架类型学：在线无家可归态度(OATH)框架，它包含九个层级框架，捕捉评论、回应和看法。我们发布了不同程度的语言模型辅助的标注数据，在加速标注方面有显著优势：标注时间加速6.5倍，同时相对于领域专家，性能仅下降3个F1点。实验表明，建模OATH-Frames比现有的情感和毒性分类器更有价值。通过对240万条关于无家可归问题的帖子进行大规模分析，揭示了各州、各时期和弱势群体中态度的关键趋势，从而对该问题有了新的见解。我们的工作提供了一个通用框架，用于大规模理解对无家可归以外问题的细致公众态度。

🔬 方法详解

问题定义：该论文旨在解决大规模理解在线媒体中公众对无家可归者态度的难题。现有方法，如情感分析和毒性检测，无法捕捉到公众态度的细微差别和深层含义。此外，人工标注成本高昂，难以处理海量数据。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大能力，辅助社会工作专家进行标注和分析。通过构建一个包含九个层级框架的OATH框架，将公众态度细分为不同的类别，从而更准确地理解公众的观点。LLM用于加速标注过程，降低人工成本，并提高分析效率。

技术框架：整体框架包括以下几个主要阶段：1) 数据收集：从Twitter收集关于无家可归问题的帖子。2) OATH框架构建：由社会工作专家定义OATH框架，包含九个层级框架，用于描述公众态度。3) LLM辅助标注：利用LLM对帖子进行初步标注，然后由社会工作专家进行审核和修正。4) 模型训练：使用标注数据训练分类模型，用于预测帖子的OATH框架。5) 大规模分析：利用训练好的模型对大规模数据进行分析，揭示不同群体对无家可归问题的态度趋势。

关键创新：该论文的关键创新在于：1) 提出了OATH框架，能够更细粒度地描述公众对无家可归问题的态度。2) 利用LLM辅助标注，显著提高了标注效率，降低了人工成本。3) 通过大规模分析，揭示了不同群体对无家可归问题的态度趋势，为政策制定提供了参考。

关键设计：论文中使用的LLM模型未知，但强调了人工审核的重要性，以确保标注的准确性。OATH框架的设计是关键，需要社会工作专家根据领域知识进行定义。具体的模型训练细节和参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，利用LLM辅助标注，标注速度提高了6.5倍，而F1值仅下降了3个点。此外，通过对240万条帖子进行大规模分析，揭示了各州、各时期和弱势群体中对无家可归者态度的关键趋势，验证了OATH-Frames的有效性。

🎯 应用场景

该研究成果可应用于社会科学、公共政策等领域，帮助政府和慈善机构更好地了解公众对社会问题的态度，从而制定更有效的政策和干预措施。此外，该方法还可以推广到其他社会问题的研究中，例如贫困、种族歧视等，具有广泛的应用前景。

📄 摘要（原文）

Warning: Contents of this paper may be upsetting. Public attitudes towards key societal issues, expressed on online media, are of immense value in policy and reform efforts, yet challenging to understand at scale. We study one such social issue: homelessness in the U.S., by leveraging the remarkable capabilities of large language models to assist social work experts in analyzing millions of posts from Twitter. We introduce a framing typology: Online Attitudes Towards Homelessness (OATH) Frames: nine hierarchical frames capturing critiques, responses and perceptions. We release annotations with varying degrees of assistance from language models, with immense benefits in scaling: 6.5x speedup in annotation time while only incurring a 3 point F1 reduction in performance with respect to the domain experts. Our experiments demonstrate the value of modeling OATH-Frames over existing sentiment and toxicity classifiers. Our large-scale analysis with predicted OATH-Frames on 2.4M posts on homelessness reveal key trends in attitudes across states, time periods and vulnerable populations, enabling new insights on the issue. Our work provides a general framework to understand nuanced public attitudes at scale, on issues beyond homelessness.