Towards a Path Dependent Account of Category Fluency

📄 arXiv: 2405.06714v2 📥 PDF

作者: David Heineman, Reba Koenen, Sashank Varma

分类: cs.CL, cs.AI

发布日期: 2024-05-09 (更新: 2024-05-14)

备注: To appear at CogSci 2024

💡 一句话要点

提出路径依赖的类别流畅性模型，解决认知机制的争议

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 类别流畅性 认知建模 序列生成 大型语言模型 路径依赖 语义网络 确定性搜索

📋 核心要点

  1. 现有类别流畅性模型在预测类别转换时结果相同，无法区分最优觅食和随机游走两种认知机制。
  2. 通过引入类别转换概率偏差和利用大型语言模型，将类别流畅性模型重新定义为序列生成器。
  3. 实验表明，确定性搜索对于模拟人类行为至关重要，且需额外全局提示以触发patch switching行为。

📝 摘要（中文）

类别流畅性是一个被广泛研究的认知现象，但关于其潜在检索机制存在两种相互冲突的解释——一种是刻意搜索记忆的最优觅食过程，另一种是从语义网络中随机游走的抽样。现有模型在预测人类的类别转换时，会产生自相矛盾的相同结果。本文首先通过(i)添加额外的偏差来直接建模类别转换概率，以及(ii)依赖大型语言模型来基于整个现有序列进行预测，从而剥离现有模型所做的假设，即每个命名的例子仅取决于前一个例子。然后，通过将模型重新定义为序列生成器，为解决觅食的每种解释之间的分歧提供证据。为了评估，我们通过提出一种基于n-gram重叠的指标，将生成的类别流畅性运行与人类编写的序列库进行比较。我们发现类别转换预测器不一定产生类人的序列，事实上，Hills等人(2012)模型使用的额外偏差是提高生成质量所必需的，这些偏差后来被我们的类别修改所改进。即使完全使用LLM生成，也需要一个额外的全局提示来触发生产过程中的patch switching行为。对语义网络之上的搜索过程的进一步测试突出了确定性搜索对于复制人类行为的重要性。

🔬 方法详解

问题定义：类别流畅性研究旨在理解人类如何从记忆中检索特定类别的实例。现有模型，如基于最优觅食和随机游走的模型，在预测类别转换时表现出相似的性能，无法有效区分这两种认知机制。现有方法的痛点在于它们对实例之间的依赖关系假设过于简单，通常只考虑前一个实例的影响，忽略了整个序列的上下文信息。

核心思路：本文的核心思路是将类别流畅性建模为一个序列生成问题，并引入路径依赖性。通过考虑整个序列的上下文信息，并显式地建模类别转换概率，从而更准确地模拟人类的检索过程。此外，利用大型语言模型（LLM）的强大生成能力，可以更好地捕捉实例之间的复杂关系。

技术框架：该方法主要包含以下几个模块：1) 类别转换概率建模：引入额外的偏差来直接建模类别转换的概率，从而捕捉类别之间的关系。2) 基于LLM的序列生成：利用大型语言模型，根据整个已生成的序列来预测下一个实例。3) 序列生成评估：提出一种基于n-gram重叠的指标，用于评估生成的序列与人类编写的序列之间的相似度。4) 全局提示机制：在LLM生成过程中，引入全局提示来触发patch switching行为。

关键创新：该论文的关键创新在于：1) 引入路径依赖性，考虑整个序列的上下文信息，而不仅仅是前一个实例。2) 将类别流畅性建模为一个序列生成问题，并利用大型语言模型来生成实例序列。3) 提出一种基于n-gram重叠的指标，用于评估生成序列的质量。4) 强调确定性搜索在模拟人类行为中的重要性，并引入全局提示机制来触发patch switching行为。

关键设计：1) 类别转换概率偏差：具体形式未知，但用于调整类别之间的转移概率。2) LLM选择：使用预训练的大型语言模型，具体模型未知。3) n-gram重叠指标：计算生成序列和人类序列之间的n-gram重叠度，作为评估指标。4) 全局提示：具体形式未知，但用于在生成过程中引导模型进行类别转换。

📊 实验亮点

实验结果表明，引入类别转换概率偏差可以显著提高生成序列的质量，使其更接近人类的序列。即使使用大型语言模型，也需要额外的全局提示来触发patch switching行为。对语义网络之上的搜索过程的进一步测试表明，确定性搜索对于复制人类行为至关重要。具体性能提升数据未知。

🎯 应用场景

该研究成果可应用于认知建模、人机交互和自然语言生成等领域。通过更准确地模拟人类的类别流畅性，可以开发更智能的对话系统、更自然的文本生成模型，以及更有效的认知训练工具。此外，该研究对于理解人类记忆的组织和检索机制具有重要的理论价值。

📄 摘要（原文）

Category fluency is a widely studied cognitive phenomenon, yet two conflicting accounts have been proposed as the underlying retrieval mechanism -- an optimal foraging process deliberately searching through memory (Hills et al., 2012) and a random walk sampling from a semantic network (Abbott et al., 2015). Evidence for both accounts has centered around predicting human patch switches, where both existing models of category fluency produce paradoxically identical results. We begin by peeling back the assumptions made by existing models, namely that each named example only depends on the previous example, by (i) adding an additional bias to model the category transition probability directly and (ii) relying on a large language model to predict based on the entire existing sequence. Then, we present evidence towards resolving the disagreement between each account of foraging by reformulating models as sequence generators. To evaluate, we compare generated category fluency runs to a bank of human-written sequences by proposing a metric based on n-gram overlap. We find category switch predictors do not necessarily produce human-like sequences, in fact the additional biases used by the Hills et al. (2012) model are required to improve generation quality, which are later improved by our category modification. Even generating exclusively with an LLM requires an additional global cue to trigger the patch switching behavior during production. Further tests on only the search process on top of the semantic network highlight the importance of deterministic search to replicate human behavior.