Reducing Political Manipulation with Consistency Training

📄 arXiv: 2605.22771v1 📥 PDF

作者: Long Phan, Devin Kim, Alexander Pan, Alice Blair, Adam Khoja, Dan Hendrycks

分类: cs.CL, cs.AI

发布日期: 2026-05-21

💡 一句话要点

提出政治一致性训练，以减少大型语言模型中的政治操纵

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治偏见 一致性训练 强化学习 政治操纵

📋 核心要点

  1. 大型语言模型存在隐蔽的政治偏见，对不同政治立场的议题处理不对称，可能被用于政治操纵。
  2. 论文提出政治一致性训练（PCT），通过强化学习，使模型在情感和帮助性上对不同政治立场的议题保持一致。
  3. 实验表明，PCT能有效减少隐蔽的政治偏见，同时保持模型的整体帮助性，并具有良好的泛化能力。

📝 摘要（中文）

大型语言模型（LLM）在各种敏感情境中表现出系统性的政治偏见。我们发现，LLM对来自对立政治立场的对应主题的处理是不对称的。我们将这种现象称为隐蔽的政治偏见，并确定了其运作的7类技术。我们提出了两种用于衡量隐蔽偏见的指标：情感一致性，用于衡量配对政治提示中修辞和框架的对称性；帮助性一致性，用于衡量对称的深度和参与度。为了减少这两种类型的隐蔽偏见，我们引入了政治一致性训练（PCT），这是一种具有两种互补范式的强化学习训练方法：情感一致性训练和帮助性一致性训练。我们表明，PCT在保持整体帮助性的同时，显著减少了隐蔽的政治偏见，并推广到保留的基准测试。

🔬 方法详解

问题定义：论文旨在解决大型语言模型中存在的隐蔽政治偏见问题。现有方法未能有效解决LLM在处理不同政治立场的议题时表现出的不对称性，这可能导致政治操纵和不公正的输出。现有方法缺乏对这种隐蔽偏见的有效度量和缓解策略。

核心思路：论文的核心思路是通过强化学习，训练LLM在处理来自不同政治立场的对应主题时，保持情感和帮助性的一致性。通过鼓励模型对不同政治立场的议题采取对称的处理方式，从而减少隐蔽的政治偏见。

技术框架：PCT包含两个主要的训练范式：情感一致性训练和帮助性一致性训练。情感一致性训练旨在使模型在修辞和框架上对配对的政治提示保持对称。帮助性一致性训练旨在使模型在深度和参与度上对配对的政治提示保持对称。整个训练过程使用强化学习框架，通过奖励模型在一致性方面的表现来优化模型。

关键创新：论文的关键创新在于提出了政治一致性训练（PCT）方法，这是一种专门用于减少LLM中隐蔽政治偏见的强化学习训练方法。与现有方法不同，PCT关注于模型在处理不同政治立场的议题时的一致性，并设计了相应的度量指标和训练策略。

关键设计：PCT的关键设计包括：1) 定义了情感一致性和帮助性一致性两种度量指标，用于衡量模型在处理不同政治立场的议题时的一致性程度；2) 设计了相应的奖励函数，用于指导强化学习训练过程，鼓励模型提高一致性；3) 使用配对的政治提示作为训练数据，确保模型能够学习到对不同政治立场的议题进行对称处理的能力。

📊 实验亮点

实验结果表明，政治一致性训练（PCT）能够显著减少大型语言模型中的隐蔽政治偏见，同时保持模型的整体帮助性。PCT在情感一致性和帮助性一致性指标上均取得了显著提升，并且能够泛化到未见过的基准测试中。这些结果表明PCT是一种有效的减少LLM政治偏见的方法。

🎯 应用场景

该研究成果可应用于提升大型语言模型在政治、社会等敏感领域的公正性和客观性，减少模型被用于政治宣传或操纵的风险。通过降低模型中的政治偏见，可以提高其在信息检索、内容生成、对话系统等应用中的可靠性和可信度，从而促进更公平和透明的社会环境。

📄 摘要（原文）

Large language models (LLMs) exhibit systematic political bias across a variety of sensitive contexts. We find that LLMs handle counterpart topics from opposing political sides asymmetrically. We refer to this phenomenon as covert political bias and identify 7 categories of techniques through which it operates. We propose two metrics for covert bias: Sentiment Consistency measures symmetry in rhetoric and framing across paired political prompts; Helpfulness Consistency measures symmetric depth and engagement. To reduce both types of covert bias, we introduce Political Consistency Training (PCT), an RL training method with two complementary paradigms: Sentiment Consistency Training and Helpfulness Consistency Training. We show that PCT preserves overall helpfulness, substantially reduces covert political bias, and generalizes to held-out benchmarks. We release our work at https://political-manipulation.ai