A Cautionary Tale About "Neutrally" Informative AI Tools Ahead of the 2025 Federal Elections in Germany

📄 arXiv: 2502.15568v2 📥 PDF

作者: Ina Dormuth, Sven Franke, Marlies Hafer, Tim Katzke, Alexander Marx, Emmanuel Müller, Daniel Neider, Markus Pauly, Jérôme Rutinowski

分类: cs.LG, cs.AI

发布日期: 2025-02-21 (更新: 2025-04-07)

期刊: Explainable Artificial Intelligence (xAI 2025). Communications in Computer and Information Science, vol. 2580, pp. 64-85. Springer, Cham (2026)

DOI: 10.1007/978-3-032-08333-3_4

💡 一句话要点

警惕！AI工具在德国2025年联邦选举中可能存在政治偏见和虚假信息风险

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI偏见 政治信息 投票建议应用 大型语言模型 选举公正性

📋 核心要点

  1. 现有AI投票建议工具和大型语言模型可能存在政治偏见，无法提供客观的政治信息。
  2. 通过对比AI工具与德国Wahl-O-Mat中政党声明的立场，评估AI工具的政治倾向。
  3. 实验发现LLMs存在显著的左倾偏差，部分VAAs与政党立场存在较大偏差，甚至产生虚假信息。

📝 摘要（中文）

本研究考察了基于AI的投票建议应用(VAAs)和大型语言模型(LLMs)在提供客观政治信息方面的可靠性。我们的分析基于与Wahl-O-Mat（一种成熟的德国在线工具，通过比较选民观点与政党立场来帮助选民了解情况）中38个声明的政党回应的比较。对于LLMs，我们发现了显著的偏差，它们与左翼政党的平均一致性超过75%，而与中右翼政党（小于50%）和右翼政党（约30%）的一致性则显著降低。此外，对于旨在客观告知选民的VAAs，我们发现其结果与政党在Wahl-O-Mat中声明的立场存在重大偏差：一个VAA在25%的情况下存在偏差，而另一个VAA的偏差超过50%。对于后者，我们甚至观察到简单的提示注入会导致严重的幻觉，包括虚假声明，例如政党与右翼极端主义之间的虚构联系。

🔬 方法详解

问题定义：论文旨在评估AI工具（包括投票建议应用VAAs和大型语言模型LLMs）在提供客观政治信息方面的可靠性。现有方法，即VAAs和LLMs，被广泛应用于政治信息传播，但其潜在的偏见和不准确性可能误导选民，影响选举结果。因此，研究的痛点在于如何确保这些工具在政治领域的公正性和准确性。

核心思路：论文的核心思路是通过将AI工具的输出与政党在Wahl-O-Mat（德国一个成熟的在线投票建议工具）中声明的立场进行对比，来量化AI工具的政治偏见和不准确性。Wahl-O-Mat被认为是相对客观的参考标准，因此可以用来评估AI工具是否忠实地反映了政党的真实立场。

技术框架：研究的技术框架主要包括以下几个步骤：1) 选取38个Wahl-O-Mat中的政治声明；2) 收集各政党对这些声明的官方回应；3) 使用VAAs和LLMs对这些声明进行分析，并生成相应的政治立场建议；4) 将AI工具的建议与政党的官方回应进行对比，计算一致性得分；5) 分析一致性得分的分布，识别AI工具的政治偏见和不准确性。对于LLMs，研究人员还尝试了提示注入，以测试其鲁棒性。

关键创新：本研究的关键创新在于其系统性地评估了AI工具在政治信息传播中的潜在偏见和不准确性。以往的研究较少关注AI工具在政治领域的客观性，而本研究通过与权威参考标准的对比，量化了AI工具的政治倾向，并揭示了其可能存在的误导性信息。此外，研究还探索了提示注入对LLMs的影响，进一步揭示了其脆弱性。

关键设计：研究的关键设计包括：1) 选择Wahl-O-Mat作为评估标准，确保参考标准的客观性和权威性；2) 使用一致性得分来量化AI工具与政党立场的匹配程度；3) 对LLMs进行提示注入，测试其对恶意输入的鲁棒性；4) 统计分析一致性得分的分布，识别AI工具的政治偏见。

📊 实验亮点

实验结果表明，LLMs普遍存在左倾偏差，与左翼政党的一致性高达75%以上，而与中右翼和右翼政党的一致性则显著降低。部分VAAs与政党立场存在较大偏差，甚至超过50%。此外，简单的提示注入即可导致LLMs产生严重的幻觉，例如虚构政党与右翼极端主义的联系。

🎯 应用场景

该研究结果可应用于改进AI投票建议工具的设计，使其更加客观公正，减少政治偏见。同时，可以帮助选民更理性地使用AI工具获取政治信息，避免受到误导。此外，该研究也为监管机构提供了参考，有助于制定相关政策，规范AI在政治领域的应用，维护选举的公正性。

📄 摘要（原文）

In this study, we examine the reliability of AI-based Voting Advice Applications (VAAs) and large language models (LLMs) in providing objective political information. Our analysis is based upon a comparison with party responses to 38 statements of the Wahl-O-Mat, a well-established German online tool that helps inform voters by comparing their views with political party positions. For the LLMs, we identify significant biases. They exhibit a strong alignment (over 75% on average) with left-wing parties and a substantially lower alignment with center-right (smaller 50%) and right-wing parties (around 30%). Furthermore, for the VAAs, intended to objectively inform voters, we found substantial deviations from the parties' stated positions in Wahl-O-Mat: While one VAA deviated in 25% of cases, another VAA showed deviations in more than 50% of cases. For the latter, we even observed that simple prompt injections led to severe hallucinations, including false claims such as non-existent connections between political parties and right-wing extremist ties.