Understanding Human Limits in Pattern Recognition: A Computational Model of Sequential Reasoning in Rock, Paper, Scissors
作者: Logan Cross, Erik Brockbank, Tobias Gerstenberg, Judith E. Fan, Daniel L. K. Yamins, Nick Haber
分类: q-bio.NC, cs.AI
发布日期: 2025-07-25
备注: To be published in Proceedings of the 8th Annual Conference on Cognitive Computational Neuroscience (2025)
💡 一句话要点
利用Hypothetical Minds模型探究石头剪刀布游戏中人类序列推理的认知局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 认知建模 策略游戏 石头剪刀布 大型语言模型 假设生成 序列推理 人机交互
📋 核心要点
- 现有方法难以解释人类在复杂序列模式识别中的认知局限性，尤其是在策略游戏中。
- 本文提出使用Hypothetical Minds (HM)模型，模拟人类在石头剪刀布游戏中对对手策略的推理过程。
- 实验表明，HM模型能有效复现人类在策略游戏中的表现，并揭示了假设生成是认知瓶颈。
📝 摘要（中文）
本文旨在研究人类如何通过行为模式预测他人，以及限制这种能力的计算约束是什么。通过对Brockbank & Vul (2024)的重复石头剪刀布游戏中的人类行为进行建模，发现人们容易利用简单的转换模式（例如，在出剪刀后始终出石头），但难以检测更复杂的序列依赖性。为了理解这些能力及其局限性背后的认知机制，本文采用基于大型语言模型的智能体Hypothetical Minds (HM)作为认知模型，生成并测试关于对手策略的假设。实验表明，HM在相同的实验条件下，与人类的表现模式非常相似。通过一系列消融和增强实验，发现HM的主要瓶颈在于准确的假设生成。当提供对手策略的自然语言描述时，HM能够成功利用6/7的机器人对手，胜率>80%。通过系统地操纵模型的假设，揭示了基于模型的分析如何产生关于人类认知的可测试假设。
🔬 方法详解
问题定义：本文旨在理解人类在策略游戏中，特别是石头剪刀布游戏中，识别和利用对手行为模式的能力和局限性。现有方法缺乏对人类认知过程的细致建模，难以解释人类在面对复杂策略时的表现差异。
核心思路：本文的核心思路是将人类的策略推理过程建模为假设生成和检验的过程。通过使用大型语言模型构建的Hypothetical Minds (HM)智能体，模拟人类根据对手的历史行为生成关于对手策略的假设，并根据后续行为验证这些假设。
技术框架：整体框架包括以下几个阶段：1) 观察对手在石头剪刀布游戏中的历史行为序列；2) HM基于历史行为生成关于对手策略的自然语言假设；3) HM根据生成的假设预测对手的下一步行动；4) HM根据实际结果更新对对手策略的理解。
关键创新：最重要的技术创新点在于将大型语言模型应用于认知建模，利用其强大的语言理解和生成能力，模拟人类的假设生成和检验过程。与传统认知模型相比，HM能够处理更复杂的策略和模式，并生成更具解释性的假设。
关键设计：HM的关键设计包括：1) 使用预训练的大型语言模型作为基础模型；2) 设计合适的提示工程，引导模型生成关于对手策略的假设；3) 设计评估指标，衡量模型预测的准确性和对对手策略的理解程度；4) 通过消融实验和增强实验，分析模型不同组件对性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，HM模型能够较好地复现人类在石头剪刀布游戏中的表现模式，并在识别简单和复杂策略方面表现出与人类相似的优势和劣势。当提供对手策略的自然语言描述时，HM能够成功利用6/7的机器人对手，胜率>80%，表明假设生成是关键瓶颈。
🎯 应用场景
该研究可应用于理解人类在各种策略互动场景中的认知过程，例如谈判、博弈论游戏、以及人机协作。通过模拟人类的认知局限性，可以设计更有效的人工智能系统，与人类进行更自然的互动，并辅助人类进行决策。
📄 摘要（原文）
How do we predict others from patterns in their behavior and what are the computational constraints that limit this ability? We investigate these questions by modeling human behavior over repeated games of rock, paper, scissors from Brockbank & Vul (2024). Against algorithmic opponents that varied in strategic sophistication, people readily exploit simple transition patterns (e.g., consistently playing rock after paper) but struggle to detect more complex sequential dependencies. To understand the cognitive mechanisms underlying these abilities and their limitations, we deploy Hypothetical Minds (HM), a large language model-based agent that generates and tests hypotheses about opponent strategies, as a cognitive model of this behavior (Cross et al., 2024). We show that when applied to the same experimental conditions, HM closely mirrors human performance patterns, succeeding and failing in similar ways. To better understand the source of HM's failures and whether people might face similar cognitive bottlenecks in this context, we performed a series of ablations and augmentations targeting different components of the system. When provided with natural language descriptions of the opponents' strategies, HM successfully exploited 6/7 bot opponents with win rates >80% suggesting that accurate hypothesis generation is the primary cognitive bottleneck in this task. Further, by systematically manipulating the model's hypotheses through pedagogically-inspired interventions, we find that the model substantially updates its causal understanding of opponent behavior, revealing how model-based analyses can produce testable hypotheses about human cognition.