Large Language Model Recall Uncertainty is Modulated by the Fan Effect

📄 arXiv: 2407.06349v2 📥 PDF

作者: Jesse Roberts, Kyle Moore, Thao Pham, Oseremhen Ewaleifoh, Doug Fisher

分类: cs.CL, cs.AI

发布日期: 2024-07-08 (更新: 2024-09-29)

💡 一句话要点

研究表明：大型语言模型表现出与人类相似的认知扇形效应，影响其回忆不确定性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 认知偏差 扇形效应 回忆任务 token概率

📋 核心要点

  1. 现有研究缺乏对LLM认知偏差的深入分析，特别是其在回忆任务中是否受到扇形效应的影响。
  2. 该研究通过设计上下文回忆实验，探究LLM在回忆任务中token概率与扇形效应之间的关系。
  3. 实验结果表明LLM表现出与人类相似的扇形效应，回忆不确定性受到扇形值的影响，并验证了扇形效应与典型性之间的关联。

📝 摘要（中文）

本文评估了大型语言模型（LLM）在经过人类文本数据预训练后，是否表现出类似于人类认知扇形效应。我们设计了两组上下文回忆实验，旨在引发扇形效应。与人类实验结果一致，我们发现LLM的回忆不确定性（通过token概率衡量）受到扇形效应的影响。实验结果表明，消除不确定性会破坏观察到的效应。实验还表明，扇形值是在上下文中诱导还是在预训练数据中诱导，扇形效应都是一致的。最后，这些发现提供了计算机实验证据，表明扇形效应和典型性是同一现象的不同表现。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）是否表现出与人类相似的认知扇形效应。扇形效应是指，当一个概念与多个相关概念关联时，回忆起该概念的速度和准确性会降低。现有方法缺乏对LLM认知偏差的系统性研究，尤其是在回忆任务中，LLM是否会受到扇形效应的影响尚不明确。

核心思路：论文的核心思路是通过设计特定的上下文回忆实验，诱导LLM产生扇形效应，并分析LLM在回忆任务中的token概率分布。通过观察token概率与扇形值之间的关系，来判断LLM是否表现出扇形效应。这种方法借鉴了心理学中研究人类认知偏差的实验范式，并将其应用于LLM的分析。

技术框架：整体实验框架包含两个主要部分：扇形效应诱导和回忆任务评估。首先，通过在上下文中引入不同的关联数量（扇形值），来诱导LLM产生扇形效应。然后，设计回忆任务，要求LLM回忆与特定概念相关的信息。通过分析LLM在回忆任务中的token概率分布，来评估其回忆不确定性，并判断其是否受到扇形效应的影响。

关键创新：该研究的关键创新在于将心理学中的扇形效应概念引入到LLM的分析中，并设计了相应的实验方法。通过分析LLM在回忆任务中的token概率分布，量化了其回忆不确定性，并揭示了扇形效应与典型性之间的关联。此外，该研究还探讨了扇形值是在上下文中诱导还是在预训练数据中诱导，对扇形效应的影响。

关键设计：实验中，扇形值通过在上下文中引入不同数量的关联概念来控制。回忆任务采用完形填空的形式，要求LLM根据上下文信息补全缺失的token。token概率分布通过softmax函数计算得到，用于衡量LLM的回忆不确定性。实验中还采用了控制变量法，例如移除不确定性，以验证扇形效应的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM的回忆不确定性（通过token概率衡量）受到扇形效应的影响，与人类实验结果一致。移除不确定性会破坏观察到的效应，表明不确定性是扇形效应的关键因素。实验还表明，扇形值是在上下文中诱导还是在预训练数据中诱导，扇形效应都是一致的。这些发现为扇形效应和典型性是同一现象的不同表现提供了实验证据。

🎯 应用场景

该研究有助于理解LLM的认知偏差和推理机制，为提高LLM的可靠性和可解释性提供理论基础。潜在应用包括：优化LLM的知识表示和检索方式，减少其在知识密集型任务中的错误；设计更有效的提示工程策略，提高LLM的生成质量；开发更鲁棒的LLM评估方法，评估其在不同认知任务中的表现。

📄 摘要（原文）

This paper evaluates whether large language models (LLMs) exhibit cognitive fan effects, similar to those discovered by Anderson in humans, after being pre-trained on human textual data. We conduct two sets of in-context recall experiments designed to elicit fan effects. Consistent with human results, we find that LLM recall uncertainty, measured via token probability, is influenced by the fan effect. Our results show that removing uncertainty disrupts the observed effect. The experiments suggest the fan effect is consistent whether the fan value is induced in-context or in the pre-training data. Finally, these findings provide in-silico evidence that fan effects and typicality are expressions of the same phenomena.