Learning from Synthetic Labs: Language Models as Auction Participants
作者: Anand Shah, Kehang Zhu, Yanchen Jiang, Jeffrey G. Wang, Arif K. Dayi, John J. Horton, David C. Parkes
分类: cs.GT, cs.AI
发布日期: 2025-07-12
💡 一句话要点
利用大型语言模型模拟拍卖参与者，降低拍卖研究成本
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 拍卖机制设计 智能代理 行为经济学 合成数据 思维链推理
📋 核心要点
- 传统拍卖实验成本高昂，限制了研究的规模和范围，需要更经济高效的实验方法。
- 利用大型语言模型（LLM）作为拍卖参与者，模拟人类竞标行为，生成合成数据，降低实验成本。
- 实验表明，LLM在不同拍卖形式中表现出与人类相似的行为，验证了LLM作为拍卖研究代理的可行性。
📝 摘要（中文）
本文研究了模拟AI代理（大型语言模型，或LLM）在拍卖中的行为，引入了一种新颖的合成数据生成过程，以帮助促进拍卖的研究和设计。研究发现，当LLM具备思维链推理能力时，它们在各种经典拍卖形式中与实验文献的结果一致。特别地，LLM竞标者的表现与风险规避的人类竞标者一致；在明显具有策略证明的拍卖中，它们的表现更接近理论预测；并且，它们在共同价值设置中屈服于赢者诅咒。通过提示，我们发现LLM对提示中的简单更改（例如，语言、货币）不太敏感，但可以通过正确的心理模型（即，纳什偏差的语言）显著改进，更接近理论预测。我们使用GPT-4模型运行了1000多次拍卖，成本低于400美元（比现代拍卖实验便宜三个数量级），并开发了一个足够灵活的框架，可以使用任何LLM模型和各种拍卖设计规范运行拍卖实验，从而降低成本并作为LLM代理使用的概念验证，促进进一步的实验研究。
🔬 方法详解
问题定义：现有拍卖实验研究成本高昂，特别是当需要大量参与者或进行多次迭代时，成本会显著增加。这限制了研究人员探索不同拍卖机制和策略的能力。此外，真实人类参与者的招募和管理也带来额外的复杂性。
核心思路：本文的核心思路是利用大型语言模型（LLM）模拟拍卖参与者的行为。通过精心设计的提示和思维链推理，使LLM能够理解拍卖规则、评估自身价值，并做出合理的竞标决策。这种方法旨在以较低的成本生成大量的拍卖数据，从而加速拍卖机制的设计和优化。
技术框架：该框架主要包括以下几个阶段：1) 拍卖环境设置：定义拍卖类型（如英国式拍卖、密封投标拍卖等）、物品数量、竞标者数量等参数。2) LLM代理构建：使用LLM（如GPT-4）作为竞标者，通过提示工程赋予其参与拍卖的能力。3) 拍卖过程模拟：模拟拍卖过程，LLM根据自身价值评估和拍卖规则进行竞标。4) 数据收集与分析：收集拍卖过程中的竞标数据，分析LLM的行为模式，并与理论预测或人类实验结果进行比较。
关键创新：该研究的关键创新在于将LLM应用于拍卖实验，并验证了其作为人类竞标者代理的可行性。通过这种方法，研究人员可以以较低的成本进行大规模的拍卖实验，探索更广泛的拍卖机制和策略。此外，该研究还探索了不同提示策略对LLM竞标行为的影响，为LLM在经济学研究中的应用提供了新的思路。
关键设计：关键设计包括：1) 精心设计的提示：提示需要清晰地描述拍卖规则、竞标者的目标和价值评估方式。2) 思维链推理：通过思维链推理，引导LLM逐步分析拍卖情境，做出更合理的竞标决策。3) 成本效益分析：实验证明，使用GPT-4模型进行拍卖实验的成本远低于传统的人类实验，降低了研究门槛。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLM在各种经典拍卖形式中表现出与人类相似的行为，例如风险规避、赢者诅咒等。在明显具有策略证明的拍卖中，LLM的表现更接近理论预测。使用GPT-4模型运行1000多次拍卖的成本低于400美元，比传统拍卖实验便宜三个数量级，显著降低了研究成本。
🎯 应用场景
该研究成果可应用于拍卖机制设计、智能竞标系统开发、经济学研究等领域。通过LLM模拟，可以更高效地测试和优化拍卖规则，提高资源配置效率。此外，该方法还可以用于训练智能竞标代理，使其在实际拍卖中表现更佳。该研究为利用AI进行经济学建模和实验开辟了新的途径。
📄 摘要（原文）
This paper investigates the behavior of simulated AI agents (large language models, or LLMs) in auctions, introducing a novel synthetic data-generating process to help facilitate the study and design of auctions. We find that LLMs -- when endowed with chain of thought reasoning capacity -- agree with the experimental literature in auctions across a variety of classic auction formats. In particular, we find that LLM bidders produce results consistent with risk-averse human bidders; that they perform closer to theoretical predictions in obviously strategy-proof auctions; and, that they succumb to the winner's curse in common value settings. On prompting, we find that LLMs are not very sensitive to naive changes in prompts (e.g., language, currency) but can improve dramatically towards theoretical predictions with the right mental model (i.e., the language of Nash deviations). We run 1,000$+$ auctions for less than $\$$400 with GPT-4 models (three orders of magnitude cheaper than modern auction experiments) and develop a framework flexible enough to run auction experiments with any LLM model and a wide range of auction design specifications, facilitating further experimental study by decreasing costs and serving as a proof-of-concept for the use of LLM proxies.