An Empirical Study of the Anchoring Effect in LLMs: Existence, Mechanism, and Potential Mitigations

📄 arXiv: 2505.15392v1 📥 PDF

作者: Yiming Huang, Biquan Bie, Zuqiu Na, Weilin Ruan, Songxin Lei, Yutao Yue, Xinlei He

分类: cs.CL

发布日期: 2025-05-21

💡 一句话要点

研究表明大型语言模型存在锚定效应，并提出潜在缓解策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 锚定效应 认知偏差 数据集 评估指标

📋 核心要点

  1. 大型语言模型在自然语言处理中表现出色，但其潜在的认知偏差（如锚定效应）引发了关注。
  2. 该研究通过构建数据集SynAnchors，并结合精细的评估指标，深入分析了LLMs中锚定效应的存在性、机制和缓解方法。
  3. 实验表明，LLMs普遍存在锚定偏差，且传统方法难以消除，但推理能力在一定程度上可以缓解这种偏差。

📝 摘要（中文）

大型语言模型（LLMs）如ChatGPT的兴起推动了自然语言处理的发展，但对认知偏差的担忧也日益增加。本文研究了锚定效应，这是一种认知偏差，即人们的思维严重依赖第一条信息作为锚点来做出受影响的判断。我们探讨了LLMs是否受到锚定效应的影响，其潜在机制以及可能的缓解策略。为了促进对锚定效应的大规模研究，我们引入了一个新的数据集SynAnchors。结合改进的评估指标，我们对当前广泛使用的LLMs进行了基准测试。我们的研究结果表明，LLMs的锚定偏差普遍存在，且浅层起作用，并且无法通过传统策略消除，而推理可以提供一定的缓解。这种通过认知心理学的重新语境化表明，LLM评估的重点不应放在标准基准或过度优化的鲁棒性测试上，而应放在具有认知偏差意识的可信评估上。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）是否受到锚定效应的影响。现有的LLM评估方法主要集中在标准基准和鲁棒性测试上，忽略了认知偏差对模型决策的影响。因此，需要一种新的评估方法来衡量LLMs的认知偏差，特别是锚定效应。

核心思路：论文的核心思路是通过构建一个专门用于评估锚定效应的数据集（SynAnchors），并设计相应的评估指标，来量化LLMs在面对不同锚点信息时的偏差程度。同时，研究还探索了不同策略（如推理）对缓解锚定效应的有效性。

技术框架：该研究的技术框架主要包括以下几个部分：1) 构建数据集SynAnchors，包含带有不同锚点信息的文本数据；2) 设计评估指标，用于量化LLMs受锚点信息影响的程度；3) 对比不同LLMs在SynAnchors数据集上的表现，分析锚定效应的存在性和强度；4) 探索不同的缓解策略，如提示工程、微调等，并评估其效果。

关键创新：该研究的关键创新在于：1) 提出了一个专门用于评估LLMs锚定效应的数据集SynAnchors，填补了现有数据集的空白；2) 深入分析了LLMs中锚定效应的机制，发现其主要发生在模型的浅层；3) 探索了推理等方法对缓解锚定效应的有效性，为未来的研究提供了方向。

关键设计：SynAnchors数据集的设计考虑了锚点信息的类型、强度和位置等因素，以确保评估的全面性和准确性。评估指标的设计则侧重于量化LLMs的预测结果与锚点信息之间的相关性，以及预测结果的偏差程度。此外，研究还尝试了不同的提示工程策略，例如提供额外的上下文信息或引导模型进行推理，以期缓解锚定效应。

🖼️ 关键图片

img_0

📊 实验亮点

研究表明，LLMs普遍存在锚定偏差，且这种偏差主要发生在模型的浅层。传统的缓解策略（如微调）效果不佳，而推理能力在一定程度上可以缓解锚定效应。在SynAnchors数据集上的实验结果表明，不同LLMs的锚定效应强度存在差异，这为未来的模型改进提供了方向。

🎯 应用场景

该研究成果可应用于开发更可靠、更值得信赖的LLMs。通过了解和缓解LLMs中的认知偏差，可以提高模型在各种实际应用中的决策质量，例如医疗诊断、金融分析和法律咨询等。未来的研究可以进一步探索其他认知偏差对LLMs的影响，并开发更有效的缓解策略。

📄 摘要（原文）

The rise of Large Language Models (LLMs) like ChatGPT has advanced natural language processing, yet concerns about cognitive biases are growing. In this paper, we investigate the anchoring effect, a cognitive bias where the mind relies heavily on the first information as anchors to make affected judgments. We explore whether LLMs are affected by anchoring, the underlying mechanisms, and potential mitigation strategies. To facilitate studies at scale on the anchoring effect, we introduce a new dataset, SynAnchors. Combining refined evaluation metrics, we benchmark current widely used LLMs. Our findings show that LLMs' anchoring bias exists commonly with shallow-layer acting and is not eliminated by conventional strategies, while reasoning can offer some mitigation. This recontextualization via cognitive psychology urges that LLM evaluations focus not on standard benchmarks or over-optimized robustness tests, but on cognitive-bias-aware trustworthy evaluation.