POLAR: A Benchmark for Multilingual, Multicultural, and Multi-Event Online Polarization

📄 arXiv: 2505.20624v2 📥 PDF

作者: Usman Naseem, Juan Ren, Saba Anwar, Sarah Kohail, Rudy Alexandro Garrido Veliz, Robert Geislinger, Aisha Jabr, Idris Abdulmumin, Laiba Qureshi, Aarushi Ajay Borkar, Maryam Ibrahim Mukhtar, Abinew Ali Ayele, Ibrahim Said Ahmad, Adem Ali, Martin Semmann, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam

分类: cs.CL

发布日期: 2025-05-27 (更新: 2026-01-05)

备注: Preprint

💡 一句话要点

POLAR：一个用于多语言、多元文化和多事件在线极化现象的基准数据集。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线极化 多语言 多元文化 基准数据集 自然语言处理 计算社会科学 大型语言模型

📋 核心要点

  1. 现有计算社会科学研究在在线极化问题上，存在单语、文化局限和事件依赖等不足。
  2. POLAR数据集旨在提供一个多语言、多元文化和多事件的基准，以促进更全面的极化研究。
  3. 实验结果表明，现有模型在极化类型和表现形式的预测上表现不佳，突显了极化问题的复杂性。

📝 摘要（中文）

在线极化对民主讨论构成了日益严峻的挑战，然而，大多数计算社会科学研究仍然是单语的、文化狭隘的或特定于事件的。我们推出了POLAR，这是一个多语言、多元文化和多事件的数据集，包含来自不同在线平台和真实世界事件的七种语言的超过23k个实例。极化现象沿着三个轴进行标注：存在、类型和表现形式，使用各种适应于每种文化背景的标注平台。我们进行了两个主要实验：（1）我们在单语和跨语设置中微调了六个多语言预训练语言模型；（2）我们在少样本和零样本场景中评估了一系列开放和封闭的大型语言模型（LLM）。结果表明，虽然大多数模型在二元极化检测方面表现良好，但在预测极化类型和表现形式时，得分却大大降低。这些发现突出了极化现象的复杂性、高度情境性，以及在自然语言处理和计算社会科学中对稳健、适应性强的方法的需求。所有资源都将发布，以支持进一步的研究和在全球范围内有效缓解数字极化。

🔬 方法详解

问题定义：论文旨在解决当前在线极化研究中存在的局限性，即大多数研究集中于单语环境、特定文化背景或特定事件，缺乏对多语言、多元文化和多事件的综合分析。现有方法无法有效捕捉极化现象的复杂性和情境性，导致模型在跨文化和跨事件场景下的泛化能力不足。

核心思路：论文的核心思路是构建一个大规模、多样的基准数据集POLAR，该数据集覆盖多种语言、文化和事件，从而为研究人员提供一个更具挑战性和代表性的评估平台。通过在该数据集上训练和评估模型，可以更好地了解模型在不同情境下的表现，并促进开发更稳健和适应性强的极化检测方法。

技术框架：POLAR数据集的构建流程包括以下几个主要阶段：数据收集，从不同的在线平台和真实世界事件中收集数据；数据标注，使用适应于每种文化背景的标注平台，沿着极化存在、类型和表现形式三个轴对数据进行标注；模型评估，在POLAR数据集上评估各种预训练语言模型和大型语言模型，包括单语和跨语设置，以及少样本和零样本场景。

关键创新：该论文的关键创新在于构建了一个多语言、多元文化和多事件的在线极化基准数据集POLAR。与现有数据集相比，POLAR具有更高的多样性和代表性，能够更全面地评估模型在不同情境下的表现。此外，论文还提出了一个多维度的极化标注体系，包括极化存在、类型和表现形式，从而更细粒度地分析极化现象。

关键设计：POLAR数据集包含七种语言，涵盖不同的在线平台和真实世界事件。标注平台的设计考虑了不同文化背景的差异，以确保标注质量。实验中，论文微调了六个多语言预训练语言模型，并评估了一系列开放和封闭的大型语言模型。评估指标包括准确率、精确率、召回率和F1值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，虽然大多数模型在二元极化检测方面表现良好，但在预测极化类型和表现形式时，得分显著降低。例如，在某些语言和文化背景下，模型的F1值下降了超过20%。这表明现有模型在理解极化现象的复杂性和情境性方面存在不足，需要进一步改进。

🎯 应用场景

该研究成果可应用于在线社交平台的内容审核、舆情监控、虚假信息检测等领域，帮助识别和缓解在线极化现象，促进更健康、理性的网络讨论环境。该数据集和研究方法为开发更有效的跨文化、跨事件的极化检测系统奠定了基础，具有重要的社会价值。

📄 摘要（原文）

Online polarization poses a growing challenge for democratic discourse, yet most computational social science research remains monolingual, culturally narrow, or event-specific. We introduce POLAR, a multilingual, multicultural, and multievent dataset with over 23k instances in seven languages from diverse online platforms and real-world events. Polarization is annotated along three axes: presence, type, and manifestation, using a variety of annotation platforms adapted to each cultural context. We conduct two main experiments: (1) we fine-tune six multilingual pretrained language models in both monolingual and cross-lingual setups; and (2) we evaluate a range of open and closed large language models (LLMs) in few-shot and zero-shot scenarios. Results show that while most models perform well on binary polarization detection, they achieve substantially lower scores when predicting polarization types and manifestations. These findings highlight the complex, highly contextual nature of polarization and the need for robust, adaptable approaches in NLP and computational social science. All resources will be released to support further research and effective mitigation of digital polarization globally.