Language Models Trained to do Arithmetic Predict Human Risky and Intertemporal Choice

📄 arXiv: 2405.19313v2 📥 PDF

作者: Jian-Qiao Zhu, Haijiang Yan, Thomas L. Griffiths

分类: cs.AI, cs.CL, econ.GN

发布日期: 2024-05-29 (更新: 2025-05-06)

期刊: ICLR 2025

💡 一句话要点

提出利用算术训练的语言模型预测人类决策行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人类认知 决策行为 算术计算 生态有效数据集 风险选择 跨期选择

📋 核心要点

  1. 现有的LLMs在数据量和训练方式上与人类有显著差异，导致其作为认知模型的有效性受到质疑。
  2. 本文提出通过计算上等效的任务来提升LLMs的认知模型效用，特别是在决策领域。
  3. 实验结果表明，预训练于生态有效算术数据集的LLM能更准确地预测人类决策行为，优于传统模型。

📝 摘要（中文）

人类与大型语言模型（LLMs）在行为上的相似性引发了研究者对LLMs作为人类认知模型潜力的关注。然而，LLMs在数据量和训练方式上与人类存在显著差异，导致这些相似性的来源尚不明确。本文提出了一种新方法，通过利用计算上等效的任务来增强LLMs作为认知模型的实用性，特别是在风险和跨期选择的决策过程中。我们展示了在生态有效的算术数据集上预训练的LLM（Arithmetic-GPT）能够比许多传统认知模型更好地预测人类行为，表明在生态有效的算术数据集上预训练是实现LLMs与人类决策行为强对应的关键。我们的结果还建议对LLMs作为认知模型的使用应通过预训练数据的消融研究进行仔细调查。

🔬 方法详解

问题定义：本文旨在解决LLMs作为人类认知模型的有效性问题，现有方法未能充分考虑数据量和训练方式的差异。

核心思路：通过利用计算上等效的任务，研究LLMs在风险和跨期选择中的表现，特别是算术期望值计算的能力，以此增强其作为认知模型的实用性。

技术框架：整体架构包括两个主要模块：首先是算术数据集的预训练，其次是基于该数据集的决策行为预测。

关键创新：最重要的技术创新在于提出了在生态有效的算术数据集上预训练LLMs，从而实现与人类决策行为的强对应，这一方法与传统认知模型的训练方式有本质区别。

关键设计：关键设计包括选择生态有效的算术数据集作为预训练数据，设定适当的损失函数以优化预测精度，并调整网络结构以适应算术计算任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，预训练的Arithmetic-GPT在预测人类风险和跨期选择行为方面的表现优于传统认知模型，具体提升幅度达到XX%（具体数据未知），验证了生态有效算术数据集的有效性。

🎯 应用场景

该研究的潜在应用领域包括心理学、经济学和人工智能等领域，能够帮助我们更好地理解人类决策过程，并为开发更智能的决策支持系统提供理论基础。未来，基于此研究的模型可能在行为预测和人机交互等方面发挥重要作用。

📄 摘要（原文）

The observed similarities in the behavior of humans and Large Language Models (LLMs) have prompted researchers to consider the potential of using LLMs as models of human cognition. However, several significant challenges must be addressed before LLMs can be legitimately regarded as cognitive models. For instance, LLMs are trained on far more data than humans typically encounter, and may have been directly trained on human data in specific cognitive tasks or aligned with human preferences. Consequently, the origins of these behavioral similarities are not well understood. In this paper, we propose a novel way to enhance the utility of LLMs as cognitive models. This approach involves (i) leveraging computationally equivalent tasks that both an LLM and a rational agent need to master for solving a cognitive problem and (ii) examining the specific task distributions required for an LLM to exhibit human-like behaviors. We apply this approach to decision-making -- specifically risky and intertemporal choice -- where the key computationally equivalent task is the arithmetic of expected value calculations. We show that an LLM pretrained on an ecologically valid arithmetic dataset, which we call Arithmetic-GPT, predicts human behavior better than many traditional cognitive models. Pretraining LLMs on ecologically valid arithmetic datasets is sufficient to produce a strong correspondence between these models and human decision-making. Our results also suggest that LLMs used as cognitive models should be carefully investigated via ablation studies of the pretraining data.