Post-hoc Study of Climate Microtargeting on Social Media Ads with LLMs: Thematic Insights and Fairness Evaluation
作者: Tunazzina Islam, Dan Goldwasser
分类: cs.CL, cs.AI, cs.CY, cs.SI
发布日期: 2024-10-07 (更新: 2025-09-23)
备注: Accepted at Findings of 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025)
💡 一句话要点
利用大型语言模型分析社交媒体气候微定向广告，揭示主题偏好与公平性问题。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 气候传播 社交媒体广告 微定向 大型语言模型 公平性评估
📋 核心要点
- 社交媒体气候传播中的微定向策略缺乏透明度，难以评估其潜在的偏差和公平性问题。
- 利用大型语言模型分析Meta平台上的气候广告，预测目标受众并解释其分类依据，从而揭示定向策略。
- 实验揭示了不同人群的主题偏好差异，并发现LLM在预测男性受众时存在偏差，突出了包容性定向的必要性。
📝 摘要（中文）
本研究利用大型语言模型（LLMs）对Meta（前身为Facebook）上的气候宣传广告进行后验分析，旨在研究气候运动中微定向策略的实践。分析重点关注两个关键方面：人口统计定向和公平性。我们评估了LLMs准确预测目标人群（如性别和年龄组）的能力，并指示LLMs生成分类解释，揭示决策背后的具体主题元素，从而突出针对不同受众的策略。研究发现，年轻人主要通过强调行动主义和环境意识的信息来吸引，而女性则通过与照护角色和社会倡导相关的主题来吸引。此外，我们进行了全面的公平性分析，以揭示模型预测中的偏差，使用人口统计均等、机会均等和预测均等等指标评估了不同人群的准确性和错误率差异。结果表明，虽然LLMs总体表现良好，但存在一定的偏差，尤其是在男性受众的分类中。本研究为未来旨在提高社交媒体驱动的气候运动的透明度、问责制和包容性的研究提供了一个有价值的框架。
🔬 方法详解
问题定义：本研究旨在解决社交媒体气候宣传中微定向广告策略的透明度和公平性问题。现有方法难以有效分析广告定向策略背后的主题偏好和潜在偏差，缺乏对不同人群的差异化影响的深入理解。
核心思路：核心思路是利用大型语言模型（LLMs）的文本理解和生成能力，对气候广告进行后验分析，预测广告的目标受众，并生成解释，从而揭示广告定向策略背后的主题偏好。通过公平性指标评估LLM预测结果在不同人群中的偏差，从而评估定向策略的公平性。
技术框架：整体框架包括以下几个主要阶段：1) 数据收集：收集Meta平台上的气候宣传广告数据，包括广告文本、目标受众信息等。2) 受众预测：使用LLM预测广告的目标受众（性别、年龄等）。3) 解释生成：指示LLM生成解释，说明其预测的原因，揭示广告文本中与目标受众相关的关键主题。4) 公平性评估：使用人口统计均等、机会均等和预测均等等指标评估LLM预测结果在不同人群中的偏差。
关键创新：关键创新在于利用LLM进行后验分析，不仅预测目标受众，还生成解释，从而揭示广告定向策略背后的主题偏好。此外，通过公平性指标评估LLM预测结果的偏差，从而评估定向策略的公平性。这种方法为分析社交媒体广告定向策略提供了一种新的视角。
关键设计：LLM的选择未知，但需要具备良好的文本理解和生成能力。公平性评估指标的选择包括人口统计均等、机会均等和预测均等等，这些指标用于衡量不同人群的准确性和错误率差异。具体的LLM训练和微调细节未知。
🖼️ 关键图片
📊 实验亮点
研究发现，年轻人主要通过强调行动主义和环境意识的信息来吸引，而女性则通过与照护角色和社会倡导相关的主题来吸引。公平性分析表明，LLM在预测男性受众时存在偏差，这表明当前的定向策略可能对男性存在不公平性。这些发现突出了在气候传播中采用更具包容性的定向方法的必要性。
🎯 应用场景
该研究成果可应用于社交媒体广告监管、算法公平性审计、以及提升气候传播策略的包容性。通过分析广告定向策略，可以帮助监管机构识别和纠正潜在的歧视性广告投放，促进更公平的在线环境。同时，该研究可以指导气候传播者设计更具包容性和针对性的信息，提高传播效果。
📄 摘要（原文）
Climate change communication on social media increasingly employs microtargeting strategies to effectively reach and influence specific demographic groups. This study presents a post-hoc analysis of microtargeting practices within climate campaigns by leveraging large language models (LLMs) to examine Meta (previously known as Facebook) advertisements. Our analysis focuses on two key aspects: demographic targeting and fairness. We evaluate the ability of LLMs to accurately predict the intended demographic targets, such as gender and age group. Furthermore, we instruct the LLMs to generate explanations for their classifications, providing transparent reasoning behind each decision. These explanations reveal the specific thematic elements used to engage different demographic segments, highlighting distinct strategies tailored to various audiences. Our findings show that young adults are primarily targeted through messages emphasizing activism and environmental consciousness, while women are engaged through themes related to caregiving roles and social advocacy. Additionally, we conduct a comprehensive fairness analysis to uncover biases in model predictions. We assess disparities in accuracy and error rates across demographic groups using established fairness metrics such as Demographic Parity, Equal Opportunity, and Predictive Equality. Our findings indicate that while LLMs perform well overall, certain biases exist, particularly in the classification of male audiences. The analysis of thematic explanations uncovers recurring patterns in messaging strategies tailored to various demographic groups, while the fairness analysis underscores the need for more inclusive targeting methods. This study provides a valuable framework for future research aimed at enhancing transparency, accountability, and inclusivity in social media-driven climate campaigns.