LLM economicus? Mapping the Behavioral Biases of LLMs via Utility Theory

📄 arXiv: 2408.02784v1 📥 PDF

作者: Jillian Ross, Yoon Kim, Andrew W. Lo

分类: cs.CL

发布日期: 2024-08-05

备注: Accepted to COLM 2024

💡 一句话要点

利用效用理论评估大语言模型的行为偏差，揭示其经济决策非完全理性或类人

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 行为经济学 效用理论 行为偏差 决策评估

📋 核心要点

  1. 人类决策存在非理性偏差，这些偏差可能潜藏在LLM的训练数据中，影响其经济决策能力。
  2. 论文提出利用效用理论量化评估LLM的经济行为偏差，并与理性经济人和人类行为进行对比。
  3. 实验结果表明，现有LLM的经济行为既非完全理性也非完全类人，且在不同情境下表现不稳定。

📝 摘要（中文）

人类并非完全理性的经济人，会表现出损失厌恶、锚定效应、框架效应等系统性行为偏差，导致次优的经济决策。鉴于这些偏差可能嵌入在大语言模型（LLM）的训练文本数据中，LLM在多大程度上也容易受到相同的行为偏差影响？理解LLM中的这些偏差对于部署LLM以支持人类决策至关重要。我们提出效用理论——现代经济理论的核心范式——作为评估LLM经济偏差的方法。效用理论能够量化和比较LLM的经济行为，并以完全理性或人类行为作为基准。为了展示我们的方法，我们量化并比较了各种开源和闭源LLM的经济行为。我们发现，当前LLM的经济行为既不完全像人类，也不完全像经济人。我们还发现，大多数当前的LLM难以在不同环境中保持一致的经济行为。最后，我们展示了我们的方法如何衡量诸如提示等干预措施对经济偏差的影响。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）在经济决策中是否存在以及如何量化行为偏差的问题。现有方法缺乏系统性的评估框架，无法有效衡量LLM在不同经济场景下的决策质量，也难以与人类或理性经济人的行为进行对比。因此，需要一种能够量化和比较LLM经济行为偏差的方法。

核心思路：论文的核心思路是将效用理论引入LLM的经济行为评估。效用理论是现代经济学的基石，它提供了一个量化个体偏好和决策的框架。通过设计一系列经济决策场景，并观察LLM在这些场景下的选择，可以推断出LLM的效用函数，从而量化其行为偏差。这种方法允许将LLM的行为与理性经济人（效用最大化）和人类的行为进行比较。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 设计经济决策场景：构建一系列涉及风险、收益和损失的决策问题，例如彩票选择、投资决策等。2) LLM决策模拟：将这些决策问题输入到不同的LLM中，记录LLM的选择。3) 效用函数推断：基于LLM的选择数据，使用统计方法（例如回归分析）推断出LLM的效用函数。4) 偏差量化与比较：将LLM的效用函数与理性经济人和人类的效用函数进行比较，量化LLM的行为偏差，例如损失厌恶程度、风险偏好等。

关键创新：该论文的关键创新在于将效用理论这一经济学工具应用于评估大语言模型的行为偏差。这种跨学科的方法提供了一种新的视角，能够系统性地分析LLM在经济决策中的非理性行为。与以往主要关注LLM在语言理解和生成方面的能力不同，该研究关注LLM的决策能力和潜在的经济影响。

关键设计：关键设计包括：1) 决策场景的设计：需要精心设计决策场景，以涵盖不同的经济概念和行为偏差，例如风险厌恶、损失厌恶、时间偏好等。2) 效用函数的形式：需要选择合适的效用函数形式，例如指数效用函数、幂函数等，以拟合LLM的选择数据。3) 偏差指标的定义：需要定义合适的指标来量化LLM的行为偏差，例如损失厌恶系数、风险溢价等。4) 提示工程：通过不同的提示方式，探究提示对LLM经济行为的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，当前LLM的经济行为既不完全理性，也不完全类人，表明LLM在经济决策中存在一定的偏差。此外，大多数LLM在不同情境下难以保持一致的经济行为，提示其决策稳定性存在问题。研究还展示了提示工程对LLM经济偏差的影响，为干预和改善LLM的决策行为提供了思路。

🎯 应用场景

该研究成果可应用于评估和改进LLM在金融、投资、风险管理等领域的决策能力。通过识别和纠正LLM的行为偏差，可以提高其在实际经济应用中的可靠性和有效性。此外，该方法还可以用于评估不同LLM的经济决策能力，为用户选择合适的LLM提供参考。

📄 摘要（原文）

Humans are not homo economicus (i.e., rational economic beings). As humans, we exhibit systematic behavioral biases such as loss aversion, anchoring, framing, etc., which lead us to make suboptimal economic decisions. Insofar as such biases may be embedded in text data on which large language models (LLMs) are trained, to what extent are LLMs prone to the same behavioral biases? Understanding these biases in LLMs is crucial for deploying LLMs to support human decision-making. We propose utility theory-a paradigm at the core of modern economic theory-as an approach to evaluate the economic biases of LLMs. Utility theory enables the quantification and comparison of economic behavior against benchmarks such as perfect rationality or human behavior. To demonstrate our approach, we quantify and compare the economic behavior of a variety of open- and closed-source LLMs. We find that the economic behavior of current LLMs is neither entirely human-like nor entirely economicus-like. We also find that most current LLMs struggle to maintain consistent economic behavior across settings. Finally, we illustrate how our approach can measure the effect of interventions such as prompting on economic biases.