Take Caution in Using LLMs as Human Surrogates: Scylla Ex Machina

📄 arXiv: 2410.19599v3 📥 PDF

作者: Yuan Gao, Dokyun Lee, Gordon Burtch, Sina Fazelpour

分类: econ.GN, cs.AI, cs.CY, cs.HC

发布日期: 2024-10-25 (更新: 2025-01-23)

💡 一句话要点

警惕！LLM作为人类代理存在风险：Scylla Ex Machina

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 人类行为模拟 博弈论 推理能力 代理模型

📋 核心要点

  1. 现有研究倾向于将LLM视为人类行为的有效替代品，但忽略了LLM与人类在认知基础上的根本差异。
  2. 本文通过11-20货币请求博弈，深入评估LLM在模拟人类行为方面的推理能力和局限性。
  3. 实验结果表明，即使是先进的LLM也难以准确复现人类行为分布，揭示了LLM作为人类代理的潜在风险。

📝 摘要（中文）

最近的研究表明，大型语言模型（LLM）可以表现出类似人类的推理能力，并在经济实验、调查和政治讨论中与人类行为保持一致。这导致许多人提出，LLM可以作为社会科学研究中人类的替代或模拟。然而，LLM与人类存在根本差异，它们依赖于概率模式，缺乏塑造人类认知的具身经验或生存目标。本文使用11-20货币请求博弈评估了LLM的推理深度。几乎所有先进方法都未能跨多个模型复制人类行为分布。失败的原因多种多样且不可预测，与输入语言、角色和安全措施有关。这些结果建议在使用LLM研究人类行为或作为替代或模拟时要谨慎。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在模拟人类行为方面的能力，特别是其推理深度。现有方法倾向于直接将LLM应用于模拟人类决策，而忽略了LLM与人类在认知机制上的根本区别，例如缺乏具身经验和生存目标。这可能导致对人类行为的错误理解和预测。

核心思路：论文的核心思路是通过一个经典的博弈论实验——11-20货币请求博弈，来检验LLM是否能够像人类一样进行策略性推理。该博弈需要参与者在利己和利他之间进行权衡，能够有效揭示个体的推理深度和行为模式。通过比较LLM和人类在该博弈中的行为分布，可以评估LLM作为人类代理的有效性。

技术框架：论文采用实验研究方法，主要流程如下： 1. 选择多个先进的LLM模型进行测试。 2. 设计合适的提示语（prompt），引导LLM参与11-20货币请求博弈。 3. 多次运行实验，收集LLM的行为数据。 4. 分析LLM的行为分布，并与人类的行为分布进行比较。 5. 探究导致LLM行为偏差的潜在原因，例如输入语言、角色设定和安全措施。

关键创新：论文的关键创新在于： 1. 对LLM作为人类代理的有效性提出了质疑，强调了LLM与人类在认知基础上的差异。 2. 采用11-20货币请求博弈这一经典实验，为评估LLM的推理深度提供了一个有效的框架。 3. 深入分析了导致LLM行为偏差的多种因素，为未来改进LLM的模拟能力提供了方向。

关键设计：论文的关键设计包括： 1. 精心设计的提示语，以确保LLM能够理解博弈规则并参与其中。 2. 对不同LLM模型进行对比测试，以评估模型的泛化能力。 3. 对LLM的行为数据进行统计分析，以量化其与人类行为的差异。 4. 对导致LLM行为偏差的因素进行定性分析，以深入理解其局限性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，几乎所有测试的先进LLM都未能准确复制人类在11-20货币请求博弈中的行为分布。LLM的行为受到输入语言、角色设定和安全措施等多种因素的影响，且这些影响难以预测。例如，即使是微小的提示语变化也可能导致LLM的行为发生显著改变。这些结果表明，LLM在模拟人类行为方面存在显著局限性，需要谨慎使用。

🎯 应用场景

该研究对社会科学、经济学和人工智能领域具有重要意义。它提醒研究人员在使用LLM模拟人类行为时要保持谨慎，避免过度依赖LLM的预测结果。该研究结果可以指导未来LLM的开发，使其更准确地模拟人类行为，并为社会科学研究提供更可靠的工具。此外，该研究还可以应用于评估其他AI系统在模拟人类认知和行为方面的能力。

📄 摘要（原文）

Recent studies suggest large language models (LLMs) can exhibit human-like reasoning, aligning with human behavior in economic experiments, surveys, and political discourse. This has led many to propose that LLMs can be used as surrogates or simulations for humans in social science research. However, LLMs differ fundamentally from humans, relying on probabilistic patterns, absent the embodied experiences or survival objectives that shape human cognition. We assess the reasoning depth of LLMs using the 11-20 money request game. Nearly all advanced approaches fail to replicate human behavior distributions across many models. Causes of failure are diverse and unpredictable, relating to input language, roles, and safeguarding. These results advise caution when using LLMs to study human behavior or as surrogates or simulations.