Ideology Prediction of German Political Texts
作者: Sinclair Schneider, Florian Steuber, Joao A. G. Schneider, Gabi Dreo Rodosek
分类: cs.CL
发布日期: 2026-05-14
备注: This paper has been accepted for the upcoming 20th International AAAI Conference on Web and Social Media (ICWSM 2026)
💡 一句话要点
提出基于Transformer的模型，用于预测德语政治文本的意识形态倾向。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 政治文本分析 意识形态预测 Transformer模型 德语自然语言处理 政治倾向检测
📋 核心要点
- 现有方法难以精细化地分析政治文本的意识形态倾向，尤其是在连续的政治光谱上进行定位。
- 利用Transformer模型将政治文本映射到连续的左-右政治光谱，从而实现对政治立场的细粒度分析。
- 实验表明，领域特定数据和模型架构对政治偏见估计的影响与模型大小同等重要，DeBERTa-large和Gemma2-2B表现优异。
📝 摘要（中文）
本文提出了一种基于Transformer的模型，用于预测德语政治文本的政治倾向，将其映射到从左到右的连续光谱上，用归一化的标量d（-1到1）表示。该方法使分析师能够专注于特定的政治领域，例如保守派，同时排除自由派和极右派运动。为了确定最适合此任务的Transformer模型，作者构建了四个不同的语料库，包括德国联邦议院的全体会议记录、Wahl-O-Mat在线决策工具、33家报纸的文章以及597名德国联邦议会议员的推文。为了减轻过拟合，使用两个不同的语料库进行训练，另外两个用于测试。实验结果表明，DeBERTa-large在同领域测试中取得了最高的F1分数（F1=0.844），在Twitter跨领域测试中取得了最高的准确率（ACC=0.864）。Gemma2-2B在报纸跨领域测试中表现出色（MAE = 0.172）。研究表明，Transformer模型可以识别德国新闻中的政治框架，达到民意调查的水平。模型架构和领域特定训练数据的可用性与模型大小一样，对估计政治偏见具有重要影响。
🔬 方法详解
问题定义：该论文旨在解决政治文本意识形态倾向的预测问题，即如何准确地判断一段德语文本属于政治光谱的哪个位置（从极左到极右）。现有方法，如传统的多分类器，需要预先定义离散的类别，无法捕捉政治立场的连续性，并且难以灵活地关注特定政治倾向的文本。
核心思路：核心思路是将政治意识形态视为一个连续的变量，并训练Transformer模型来预测文本在这个连续变量上的取值。通过将政治立场映射到-1到1的连续区间，模型可以更精细地表达和区分不同的政治观点，并允许研究人员灵活地选择和分析特定范围内的政治立场。
技术框架：整体框架包括数据收集与标注、模型选择与训练、以及性能评估三个主要阶段。首先，构建四个不同的德语政治文本语料库，包括议会记录、在线决策工具数据、新闻文章和Twitter数据。然后，选择13个预训练的Transformer模型作为候选模型，并在这些语料库上进行训练。最后，使用不同的语料库进行同领域和跨领域测试，评估模型的性能。
关键创新：关键创新在于将政治意识形态的预测问题转化为一个回归问题，从而能够利用Transformer模型学习政治文本在连续政治光谱上的位置。此外，该研究还强调了领域特定数据和模型架构对政治偏见估计的重要性，挑战了以往认为模型越大越好的观点。
关键设计：论文使用了多个预训练的Transformer模型，包括DeBERTa-large和Gemma2-2B。训练目标是最小化模型预测的政治立场与人工标注的政治立场之间的差异。为了防止过拟合，使用了不同的语料库进行训练和测试。评估指标包括F1分数、准确率（ACC）和平均绝对误差（MAE）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DeBERTa-large在同领域测试中取得了最高的F1分数（F1=0.844），在Twitter跨领域测试中取得了最高的准确率（ACC=0.864）。Gemma2-2B在报纸跨领域测试中表现出色（MAE = 0.172）。这些结果表明，Transformer模型能够有效地识别德语政治文本中的政治倾向，并且领域特定数据和模型架构对性能有显著影响。
🎯 应用场景
该研究成果可应用于政治倾向分析、舆情监控、虚假信息检测等领域。例如，可以帮助分析师了解不同政治派别的观点，监测社交媒体上的政治言论，识别带有政治偏见的文章，并评估新闻媒体的客观性。此外，该技术还可以用于个性化推荐，为用户提供符合其政治倾向的新闻和信息。
📄 摘要（原文）
Elections represent a crucial milestone in a nation's ongoing development. To better understand the political rhetoric from various movements, ranging from left to right, we propose a transformer-based model capable of projecting the political orientation of a text on a continuous left-to-right spectrum, represented by a normalized scalar d between -1 and 1. This approach enables analysts to focus on specific segments of the political landscape, such as conservatives, while excluding liberal and far-right movements. Such a task can only be achieved with multiclass classifiers, provided that the desired orientation is incorporated within one of their predefined classes. To determine the most suitable foundation model among 13 candidate transformers for this task, we constructed four distinct corpora. One corpus comprised annotated plenary notes from the German Bundestag, while another was based on an official online decision-making tool, Wahl-O-Mat. The third corpus consisted of articles from 33 newspapers, each identified by its political orientation, and the fourth included 535,200 tweets from 597 members of the 20th and 21st German Bundestag. To mitigate overfitting, we used two distinct corpora for training and two for testing, respectively. For in-domain performance, DeBERTa-large achieved the highest F1 score F1=0.844 as well as for the X (Twitter) out-of-domain test ACC=0.864. Regarding the newspaper out-of-domain test, Gemma2-2B excelled (MAE = 0.172). This study demonstrates that transformer models can recognize political framing in German news at the level of public opinion polls. Our findings suggest that both the model architecture and the availability of domain-specific training data can be as influential as model size for estimating political bias. We discuss methodological limitations and outline directions for improving the robustness of bias measurement.