Cognitive Biases in Large Language Models: A Survey and Mitigation Experiments

📄 arXiv: 2412.00323v1 📥 PDF

作者: Yasuaki Sumita, Koh Takeuchi, Hisashi Kashima

分类: cs.CL, cs.AI

发布日期: 2024-11-30

备注: The extended abstract of this paper is presented at the 40th ACM/SIGAPP Symposium on Applied Computing (SAC 2025)

💡 一句话要点

探索并缓解大语言模型中的认知偏差，提升决策理性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 认知偏差 理性决策 缓解策略 GPT-3.5 GPT-4 AwaRe SoPro

📋 核心要点

  1. 大语言模型易受认知偏差影响，导致非理性决策，现有缓解方法存在偏差类型限制或输入输出冗长的问题。
  2. 借鉴众包研究，探索将人类认知偏差缓解方法SoPro和AwaRe应用于大语言模型，以期提升其决策理性。
  3. 实验表明，AwaRe方法能有效缓解GPT-3.5和GPT-4中的多种认知偏差，使模型做出更理性的回应。

📝 摘要（中文）

大型语言模型（LLM）在人类撰写的大型语料库上进行训练，并在各种任务中表现出高性能。然而，由于人类容易受到认知偏差的影响，导致非理性的判断，LLM也可能受到这些偏差的影响，从而导致非理性的决策。例如，改变多项选择题中选项的顺序会影响LLM的性能，这是由于顺序偏差造成的。在本研究中，我们首先对现有研究LLM认知偏差及其缓解措施的文献进行了广泛的调研。LLM中的缓解技术存在局限性，它们能够应用的偏差类型有限，或者需要冗长的输入或输出。然后，我们受到众包研究的启发，研究了两种人类缓解方法SoPro和AwaRe应用于LLM时的有效性。为了测试这些方法的有效性，我们对GPT-3.5和GPT-4进行了实验，以评估应用这些方法前后六种偏差对输出的影响。结果表明，虽然SoPro几乎没有效果，但AwaRe使LLM能够减轻这些偏差的影响，并做出更理性的反应。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）中存在的认知偏差问题。这些偏差源于LLM训练数据中人类固有的非理性判断，导致LLM在决策时也可能出现非理性行为。现有缓解方法的痛点在于，它们通常只能针对特定类型的偏差进行处理，缺乏通用性；或者需要大量的输入或输出信息，效率较低。

核心思路：论文的核心思路是将人类在众包任务中使用的认知偏差缓解策略（SoPro和AwaRe）迁移到LLM中。通过模仿人类的理性思考过程，期望LLM能够克服自身的认知偏差，做出更合理的判断。AwaRe方法的核心在于让模型意识到可能存在的偏差，从而有意识地调整输出。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选取并定义需要研究的认知偏差类型；2) 将SoPro和AwaRe方法适配到LLM的输入输出格式；3) 设计实验，评估LLM在应用SoPro和AwaRe前后，受到各种认知偏差影响的程度；4) 分析实验结果，评估两种缓解方法的有效性。整个流程侧重于实验验证，而非提出全新的模型架构。

关键创新：该研究的关键创新在于将人类认知偏差缓解策略应用于LLM，探索了一种新的LLM理性化方法。与以往针对特定偏差的解决方案不同，该方法具有一定的通用性，可以应用于多种认知偏差的缓解。此外，该研究还评估了不同缓解策略在LLM上的效果，为未来的研究提供了参考。

关键设计：SoPro和AwaRe的具体实现细节在论文中可能没有详细展开，但可以推测，SoPro可能涉及对LLM的输出进行后处理，例如对多个候选答案进行加权平均。AwaRe则可能通过在LLM的输入中加入提示语，提醒模型注意可能存在的偏差，从而引导模型进行更理性的思考。具体的参数设置和损失函数没有涉及，因为该研究主要关注缓解策略的有效性，而非模型训练。

📊 实验亮点

实验结果表明，AwaRe方法能够有效缓解GPT-3.5和GPT-4中的多种认知偏差，使模型做出更理性的回应。相比之下，SoPro方法的效果不明显。该研究为LLM的认知偏差缓解提供了一种新的思路，并验证了人类认知偏差缓解策略在LLM上的有效性。具体的性能提升幅度在论文中未明确给出，需要查阅原文。

🎯 应用场景

该研究成果可应用于提升大语言模型在各种实际场景中的决策质量，例如智能客服、金融分析、医疗诊断等。通过减少认知偏差的影响，可以使LLM的输出更加客观、准确，从而提高用户满意度和信任度。未来，该研究可以扩展到更多类型的认知偏差和更复杂的应用场景，推动LLM的理性化发展。

📄 摘要（原文）

Large Language Models (LLMs) are trained on large corpora written by humans and demonstrate high performance on various tasks. However, as humans are susceptible to cognitive biases, which can result in irrational judgments, LLMs can also be influenced by these biases, leading to irrational decision-making. For example, changing the order of options in multiple-choice questions affects the performance of LLMs due to order bias. In our research, we first conducted an extensive survey of existing studies examining LLMs' cognitive biases and their mitigation. The mitigation techniques in LLMs have the disadvantage that they are limited in the type of biases they can apply or require lengthy inputs or outputs. We then examined the effectiveness of two mitigation methods for humans, SoPro and AwaRe, when applied to LLMs, inspired by studies in crowdsourcing. To test the effectiveness of these methods, we conducted experiments on GPT-3.5 and GPT-4 to evaluate the influence of six biases on the outputs before and after applying these methods. The results demonstrate that while SoPro has little effect, AwaRe enables LLMs to mitigate the effect of these biases and make more rational responses.