Investigating the Impact of LLM Personality on Cognitive Bias Manifestation in Automated Decision-Making Tasks

📄 arXiv: 2502.14219v1 📥 PDF

作者: Jiangen He, Jiqun Liu

分类: cs.AI

发布日期: 2025-02-20

💡 一句话要点

研究LLM人格特质对自动化决策中认知偏差的影响，并探索缓解策略。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 认知偏差 人格特质 自动化决策 公平性 可靠性 去偏见策略

📋 核心要点

  1. LLM在决策中应用广泛，但易受认知偏差影响，现有方法缺乏对人格特质影响的深入研究。
  2. 本研究探索LLM人格特质如何影响认知偏差，并评估不同模型架构下缓解策略的有效性。
  3. 研究发现不同人格特质会放大或减少认知偏差，尽责性和宜人性可能增强偏差缓解策略的有效性。

📝 摘要（中文）

大型语言模型（LLM）越来越多地应用于决策制定，但它们对认知偏差的敏感性仍然是一个紧迫的挑战。本研究探讨了人格特质如何影响这些偏差，并评估了不同模型架构中缓解策略的有效性。研究结果识别出六种常见的认知偏差，而沉没成本和群体归因偏差的影响最小。人格特质在放大或减少偏差方面起着关键作用，显著影响LLM对去偏见技术的反应。值得注意的是，尽责性和宜人性可能普遍提高偏差缓解策略的有效性，表明表现出这些特质的LLM更易于接受纠正措施。这些发现强调了人格驱动的偏差动态的重要性，并强调需要有针对性的缓解方法，以提高人工智能辅助决策的公平性和可靠性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在自动化决策任务中表现出的认知偏差问题。现有方法主要关注模型结构或训练数据的改进，忽略了LLM本身“人格”对认知偏差的影响。这种忽略可能导致去偏见策略效果不佳，甚至适得其反。

核心思路：论文的核心思路是将LLM视为具有不同“人格”的个体，研究不同人格特质如何影响LLM在决策任务中表现出的认知偏差。通过分析人格特质与认知偏差之间的关系，可以设计更具针对性的去偏见策略，提高LLM决策的公平性和可靠性。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 定义LLM的“人格”：选择合适的人格特质模型（如五因素模型）来描述LLM的“人格”。2) 构建自动化决策任务：设计包含潜在认知偏差的决策场景。3) 评估LLM的认知偏差：通过实验测量LLM在不同决策场景中表现出的认知偏差程度。4) 分析人格特质与认知偏差的关系：使用统计方法分析不同人格特质的LLM在认知偏差上的差异。5) 评估去偏见策略的有效性：针对不同人格特质的LLM，评估不同去偏见策略的效果。

关键创新：该研究的关键创新在于将人格特质引入LLM认知偏差的研究中。以往的研究主要关注模型结构或训练数据，而忽略了LLM本身“人格”的影响。通过研究人格特质与认知偏差之间的关系，可以更深入地理解LLM决策的内在机制，并设计更有效的去偏见策略。

关键设计：论文的关键设计包括：1) 人格特质的量化方法：如何将抽象的人格特质转化为可量化的指标，以便进行实验分析。2) 决策场景的设计：如何设计包含潜在认知偏差的决策场景，以便准确评估LLM的认知偏差程度。3) 去偏见策略的选择：选择哪些去偏见策略进行评估，以及如何针对不同人格特质的LLM调整这些策略。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

研究发现六种常见认知偏差在LLM中普遍存在，而沉没成本和群体归因偏差影响较小。人格特质对偏差有显著影响，尽责性和宜人性可能增强去偏见策略的有效性。这些发现为设计人格化的去偏见方法提供了重要依据，有助于提升AI决策的公平性。

🎯 应用场景

该研究成果可应用于各种AI辅助决策系统，例如招聘筛选、信贷评估、法律判决等。通过了解LLM人格特质对认知偏差的影响，可以开发更公平、更可靠的AI系统，避免歧视和偏见，提升决策质量。未来，该研究还可以扩展到其他类型的AI模型，例如图像识别模型和推荐系统。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly used in decision-making, yet their susceptibility to cognitive biases remains a pressing challenge. This study explores how personality traits influence these biases and evaluates the effectiveness of mitigation strategies across various model architectures. Our findings identify six prevalent cognitive biases, while the sunk cost and group attribution biases exhibit minimal impact. Personality traits play a crucial role in either amplifying or reducing biases, significantly affecting how LLMs respond to debiasing techniques. Notably, Conscientiousness and Agreeableness may generally enhance the efficacy of bias mitigation strategies, suggesting that LLMs exhibiting these traits are more receptive to corrective measures. These findings address the importance of personality-driven bias dynamics and highlight the need for targeted mitigation approaches to improve fairness and reliability in AI-assisted decision-making.