Are LLMs ready for HardChoices?
作者: Dmitry Nikolaev
分类: cs.CL
发布日期: 2026-07-13
备注: Accepted to Konvens 2026
💡 一句话要点
检验大型语言模型在社会问题上的立场一致性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 政治偏见 社会问题 数据集构建 立场一致性 意识形态分析 模型评估
📋 核心要点
- 现有研究主要关注LLMs的意识形态偏见，缺乏对其在具体社会问题上的立场一致性的深入分析。
- 本文通过构建HardChoices数据集，系统性地评估LLMs在重大社会问题上的立场，探索其一致性与中立性。
- 实验结果显示，LLMs在面对复杂社会问题时，往往表现出不一致性，且在有明确立场时展现出较高的共识度。
📝 摘要（中文）
大量研究关注大型语言模型（LLMs）的政治偏见，主要集中在高层次的意识形态维度上。尽管已有研究表明LLMs倾向于左派和进步主义，但在面对社会重大问题时，LLMs的立场却表现出不一致性和奇特的共识。本文通过构建新的数据集HardChoices，探讨LLMs在这些问题上的表现，发现它们很少宣称中立，且在有立场时表现出显著的一致性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在面对复杂社会问题时的立场一致性问题。现有方法主要关注意识形态偏见，缺乏对具体社会问题的深入探讨。
核心思路：通过构建新的数据集HardChoices，系统评估LLMs在重大社会问题上的表现，分析其立场的一致性和中立性。
技术框架：研究首先构建HardChoices数据集，然后对不同规模的LLMs进行测试，分析其在特定社会问题上的回答和立场。
关键创新：本文的创新在于提出了HardChoices数据集，填补了LLMs在具体社会问题立场评估的空白，提供了新的研究视角。
关键设计：在实验中，选择了多种规模的LLMs进行对比，关注其在不同问题上的回答一致性，分析其偏见和中立性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLMs在面对HardChoices数据集中的问题时，极少表现出中立性，且在有立场时展现出显著的一致性。这一发现挑战了对LLMs偏见的传统理解，提示我们在应用这些模型时需谨慎考虑其潜在的立场影响。
🎯 应用场景
该研究为理解大型语言模型在社会问题上的表现提供了新的视角，具有重要的理论和实践价值。未来可用于改进LLMs的训练方法，增强其在社会问题上的中立性和一致性，进而提升其在实际应用中的可靠性。
📄 摘要（原文）
A lot of research attention has been devoted to checking whether large language models (LLMs) are politically biased. This work has largely focused on high-level ideological dimensions, such as left--right or progressive--conservative, and it has been shown that while LLMs are predominantly left and progressive leaning, largely mimicking the biases in the training data, they can be to some extent steered to change their preferences in post-training. In this short note, we check if LLMs have robust stances with regard to major substantive societal issues, on which members of the same ideological camp are often in disagreement, summarised in a novel dataset \textsc{HardChoices}. We show that, faced with this line of questioning, LLMs, both large and small, surprisingly rarely declare neutrality, are often incoherent, and demonstrate a remarkable degree of agreement on issues where they do take stances.