Who Has The Final Say? Conformity Dynamics in ChatGPT's Selections

📄 arXiv: 2510.26481v1 📥 PDF

作者: Clarissa Sabrina Arlinghaus, Tristan Kenneweg, Barbara Hammer, Günter W. Maier

分类: cs.AI

发布日期: 2025-10-30

备注: 5 pages, 5 figures, HAI 2025: Workshop on Socially Aware and Cooperative Intelligent Systems

💡 一句话要点

揭示ChatGPT在招聘决策中易受社会影响的特性，强调AI决策的独立性风险

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会影响 从众行为 决策偏差 人工智能伦理

📋 核心要点

  1. 现有大型语言模型在决策中被广泛应用，但其是否会受到社会影响，以及影响程度如何，尚不明确。
  2. 该研究通过模拟社会压力，观察ChatGPT在招聘场景下的决策变化，以此评估其从众行为。
  3. 实验结果表明，ChatGPT会受到社会共识的影响，改变其初始决策，并降低其决策的确定性。

📝 摘要（中文）

大型语言模型（LLMs），如ChatGPT，正日益融入高风险决策过程，但对其社会影响的敏感性知之甚少。我们对GPT-4o在招聘背景下进行了三项预注册的从众实验。在一项基线研究中，GPT始终偏爱同一候选人（Profile C），报告了中等专业知识（M = 3.01）和高确定性（M = 3.89），并且很少改变其选择。在研究1（GPT + 8）中，GPT面临来自八个模拟伙伴的一致反对，并且几乎总是顺从（99.9%），报告了较低的确定性以及显著提高的自我报告的信息性和规范性从众（p < .001）。在研究2（GPT + 1）中，GPT与单个伙伴互动，并且仍然在40.2%的意见不一致试验中顺从，报告了较少的确定性和更多的规范性从众。研究结果表明，GPT并非充当独立观察员，而是适应感知到的社会共识。这些发现突出了将LLM视为中立决策辅助工具的风险，并强调需要在将AI判断暴露于人类意见之前对其进行引导。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs），特别是ChatGPT，在决策过程中是否以及如何在多大程度上受到社会影响。现有方法将LLM视为中立的决策辅助工具，忽略了其可能存在的从众行为，这可能导致决策偏差。

核心思路：论文的核心思路是通过模拟社会压力环境，观察ChatGPT在招聘场景下的决策变化，以此评估其从众行为。通过设计不同的实验条件，例如不同数量的“同伴”意见，来量化ChatGPT受到的影响程度。

技术框架：该研究采用了实验心理学的方法，设计了三个预注册的从众实验。首先，建立一个基线研究，确定GPT在没有社会压力下的决策偏好。然后，在研究1中，GPT面临来自八个模拟伙伴的一致反对；在研究2中，GPT与单个伙伴互动。通过比较不同条件下的决策结果和GPT的自我报告，分析其从众行为。

关键创新：该研究的关键创新在于揭示了大型语言模型（LLMs）在决策过程中并非完全独立，而是会受到社会影响。这挑战了将LLM视为中立决策辅助工具的传统观点，并强调了在实际应用中需要考虑其潜在的从众行为。

关键设计：实验的关键设计包括：1）使用GPT-4o作为研究对象；2）选择招聘场景作为决策背景；3）设计了不同数量的模拟伙伴，以模拟不同的社会压力；4）通过自我报告量化GPT的信息性和规范性从众；5）进行了预注册，以确保研究的科学性和可重复性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究表明，在面对八个模拟伙伴的一致反对时，GPT-4o几乎总是顺从（99.9%），并且报告了较低的确定性以及显著提高的自我报告的信息性和规范性从众（p < .001）。即使面对单个伙伴的意见不一致，GPT-4o仍然在40.2%的试验中顺从，这表明LLM对社会影响非常敏感。

🎯 应用场景

该研究结果对LLM在决策领域的应用具有重要意义。它提醒我们在使用LLM进行决策时，需要警惕其可能存在的从众行为，避免其受到不当的社会影响。该研究可以应用于开发更鲁棒、更可靠的AI决策系统，例如在招聘、金融、医疗等领域。

📄 摘要（原文）

Large language models (LLMs) such as ChatGPT are increasingly integrated into high-stakes decision-making, yet little is known about their susceptibility to social influence. We conducted three preregistered conformity experiments with GPT-4o in a hiring context. In a baseline study, GPT consistently favored the same candidate (Profile C), reported moderate expertise (M = 3.01) and high certainty (M = 3.89), and rarely changed its choice. In Study 1 (GPT + 8), GPT faced unanimous opposition from eight simulated partners and almost always conformed (99.9%), reporting lower certainty and significantly elevated self-reported informational and normative conformity (p < .001). In Study 2 (GPT + 1), GPT interacted with a single partner and still conformed in 40.2% of disagreement trials, reporting less certainty and more normative conformity. Across studies, results demonstrate that GPT does not act as an independent observer but adapts to perceived social consensus. These findings highlight risks of treating LLMs as neutral decision aids and underline the need to elicit AI judgments prior to exposing them to human opinions.