A Comparison of Large Language Model and Human Performance on Random Number Generation Tasks

📄 arXiv: 2408.09656v2 📥 PDF

作者: Rachel M. Harrison

分类: cs.AI, cs.CL, q-bio.NC

发布日期: 2024-08-19 (更新: 2024-08-20)

💡 一句话要点

对比大型语言模型与人类在随机数生成任务中的表现，揭示LLM的认知偏差

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 随机数生成 认知偏差 ChatGPT-3.5 心理学 行为科学

📋 核心要点

  1. 人类在生成随机序列时存在认知偏差，难以避免重复和连续模式，现有方法对此缺乏有效应对。
  2. 本研究将心理学中的随机数生成任务应用于LLM，旨在评估LLM是否也存在类似人类的认知偏差。
  3. 实验结果表明，ChatGPT-3.5在生成随机数序列时，比人类更有效地避免了重复和连续模式。

📝 摘要（中文）

本研究通过改编心理学中常用的随机数生成任务（RNGT），探讨大型语言模型（LLM）在生成随机数序列时是否表现出类似人类的认知偏差。研究将现有的人类RNGT适配于LLM环境，并测试了ChatGPT-3.5。初步结果表明，与人类相比，ChatGPT-3.5在避免重复和连续模式方面表现更佳，重复频率和相邻数字频率明显更低。未来的研究将继续探索不同的模型、参数和提示方法，以更深入地了解LLM如何更紧密地模仿人类的随机生成行为，并扩展其在认知和行为科学研究中的应用。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在执行随机数生成任务（RNGT）时，是否会表现出与人类相似的认知偏差。现有方法主要关注人类在RNGT中的表现，缺乏对LLM在类似任务中行为模式的深入研究，无法确定LLM是否具备类似人类的非随机性特征。

核心思路：论文的核心思路是将心理学中用于研究人类随机性行为的RNGT迁移到LLM环境中，通过对比LLM和人类在RNGT中的表现，来分析LLM是否表现出类似人类的认知偏差。这种方法能够直接比较LLM和人类在同一任务上的行为模式，从而揭示LLM的潜在认知偏差。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 将现有的人类RNGT进行适配，使其能够在LLM环境中运行。2) 使用ChatGPT-3.5执行RNGT，生成随机数序列。3) 对LLM生成的随机数序列进行统计分析，例如计算重复频率和相邻数字频率。4) 将LLM的统计结果与人类在RNGT中的统计结果进行对比，分析LLM是否表现出类似人类的认知偏差。

关键创新：该研究的关键创新在于将心理学中的RNGT应用于LLM研究，为分析LLM的认知偏差提供了一种新的视角和方法。与以往主要关注LLM在自然语言处理任务中的表现不同，该研究关注LLM在模拟人类认知行为方面的能力，从而揭示LLM更深层次的认知特征。

关键设计：研究中关键的设计包括：1) 选择了ChatGPT-3.5作为研究对象，因为它是一个广泛使用的大型语言模型，具有较强的代表性。2) 采用了与人类RNGT相同的任务设置，以确保LLM和人类在相同条件下进行比较。3) 重点关注重复频率和相邻数字频率这两个指标，因为它们是衡量随机性的重要指标，能够有效反映LLM和人类在生成随机数序列时的认知偏差。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，ChatGPT-3.5在避免重复和连续模式方面优于人类，其重复频率和相邻数字频率明显低于人类。这一发现表明，LLM在生成随机数序列时，可能不存在或较少存在类似人类的认知偏差，这为进一步研究LLM的认知能力提供了新的线索。

🎯 应用场景

该研究成果可应用于认知科学和行为科学研究，帮助研究人员更好地理解LLM的认知能力和局限性。此外，该研究还可以为开发更智能、更人性化的AI系统提供参考，例如，通过模拟人类的随机性行为，可以使AI系统在某些场景下表现得更加自然和可信。

📄 摘要（原文）

Random Number Generation Tasks (RNGTs) are used in psychology for examining how humans generate sequences devoid of predictable patterns. By adapting an existing human RNGT for an LLM-compatible environment, this preliminary study tests whether ChatGPT-3.5, a large language model (LLM) trained on human-generated text, exhibits human-like cognitive biases when generating random number sequences. Initial findings indicate that ChatGPT-3.5 more effectively avoids repetitive and sequential patterns compared to humans, with notably lower repeat frequencies and adjacent number frequencies. Continued research into different models, parameters, and prompting methodologies will deepen our understanding of how LLMs can more closely mimic human random generation behaviors, while also broadening their applications in cognitive and behavioral science research.