Examining the Influence of Political Bias on Large Language Model Performance in Stance Classification

📄 arXiv: 2407.17688v2 📥 PDF

作者: Lynnette Hui Xian Ng, Iain Cruickshank, Roy Ka-Wei Lee

分类: cs.CL, cs.AI

发布日期: 2024-07-25 (更新: 2024-07-26)

备注: Accepted at ICWSM 2025

💡 一句话要点

研究表明大型语言模型在立场分类任务中受政治偏见影响，数据集层面差异显著。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治偏见 立场分类 自然语言处理 数据集偏见

📋 核心要点

  1. 大型语言模型在自然语言任务中表现出色，但训练数据固有的偏见可能影响其在特定任务中的性能。
  2. 该研究通过立场分类任务，考察大型语言模型是否对政治立场存在偏见，并分析其影响因素。
  3. 实验结果表明，大型语言模型在政治立场分类任务中存在显著差异，且数据集层面的影响更为突出。

📝 摘要（中文）

大型语言模型（LLMs）在执行基于自然语言查询的任务中表现出卓越的能力。然而，这些模型在经过精心策划的数据集训练后，固有地包含种族、国家和性别等偏见。这些偏见是否会影响LLMs在某些任务中的表现尚不清楚。本研究调查了LLMs在立场分类任务中的政治偏见，特别考察了这些模型是否更准确地分类带有政治色彩的立场。我们利用三个数据集、七个LLMs和四种不同的提示方案，分析了LLMs在政治导向的陈述和目标上的表现。我们的研究结果表明，LLMs在各种政治导向的立场分类任务中的表现存在统计学上的显著差异。此外，我们观察到这种差异主要体现在数据集层面，模型和提示方案在不同立场分类数据集上的表现出统计学上相似的性能。最后，我们观察到，当陈述所针对的目标存在更大的模糊性时，LLMs的立场分类准确性较差。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）在立场分类任务中是否受到政治偏见的影响。现有方法没有充分考虑LLMs中可能存在的政治偏见，以及这些偏见对立场分类性能的影响。这可能导致LLMs在处理政治相关文本时产生不准确或有偏见的判断。

核心思路：论文的核心思路是通过实验分析LLMs在政治导向的立场分类任务中的表现，从而揭示其潜在的政治偏见。通过比较LLMs在不同政治立场上的分类准确性，以及在不同数据集和提示方案下的表现，来评估政治偏见的影响程度。

技术框架：该研究的技术框架主要包括以下几个部分：1) 选择三个立场分类数据集，这些数据集包含政治相关的陈述和目标；2) 选择七个不同的LLMs进行实验；3) 设计四种不同的提示方案，以引导LLMs进行立场分类；4) 使用统计方法分析LLMs在不同数据集、模型和提示方案下的表现，评估政治偏见的影响。

关键创新：该研究的关键创新在于系统性地评估了LLMs在立场分类任务中受政治偏见的影响。通过多数据集、多模型和多提示方案的实验设计，更全面地揭示了LLMs中存在的政治偏见，并分析了其影响因素。

关键设计：研究中使用了不同的提示工程方法来引导LLM进行立场分类，例如零样本提示、少样本提示等。此外，研究还关注了目标模糊性对立场分类准确性的影响，并进行了相应的分析。统计分析方法包括显著性检验等，用于评估不同条件下的性能差异。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，大型语言模型在政治立场分类任务中的表现存在显著差异，且这种差异主要体现在数据集层面。不同模型和提示方案在不同数据集上的表现相似。此外，目标模糊性会降低LLMs的立场分类准确性。这些发现强调了在评估和部署LLMs时考虑政治偏见的重要性。

🎯 应用场景

该研究成果可应用于提升大型语言模型在政治相关文本处理中的公平性和准确性。通过识别和减轻模型中的政治偏见，可以提高其在新闻分析、舆情监控、政策制定等领域的可靠性。未来的研究可以进一步探索如何利用对抗训练等技术来消除LLMs中的政治偏见。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable capabilities in executing tasks based on natural language queries. However, these models, trained on curated datasets, inherently embody biases ranging from racial to national and gender biases. It remains uncertain whether these biases impact the performance of LLMs for certain tasks. In this study, we investigate the political biases of LLMs within the stance classification task, specifically examining whether these models exhibit a tendency to more accurately classify politically-charged stances. Utilizing three datasets, seven LLMs, and four distinct prompting schemes, we analyze the performance of LLMs on politically oriented statements and targets. Our findings reveal a statistically significant difference in the performance of LLMs across various politically oriented stance classification tasks. Furthermore, we observe that this difference primarily manifests at the dataset level, with models and prompting schemes showing statistically similar performances across different stance classification datasets. Lastly, we observe that when there is greater ambiguity in the target the statement is directed towards, LLMs have poorer stance classification accuracy. Code & Dataset: http://doi.org/10.5281/zenodo.12938478