People Are Highly Cooperative with Large Language Models, Especially When Communication Is Possible or Following Human Interaction
作者: Paweł Niszczota, Tomasz Grzegorczyk, Alexander Pastukhov
分类: cs.HC, cs.CL, cs.CY, econ.GN
发布日期: 2025-05-10
💡 一句话要点
研究表明,人们与大型语言模型(LLM)的合作意愿高,尤其在可沟通或人机交互后。
🎯 匹配领域: 支柱九:具身大模型 (Embodied Foundation Models)
关键词: 人机协作 大型语言模型 合作博弈 囚徒困境 沟通机制 行为实验 心理学 人工智能
📋 核心要点
- 现有研究缺乏对人与LLM在合作博弈中行为差异的深入分析,尤其是在允许沟通的情况下。
- 本研究通过囚徒困境博弈,对比人与LLM的合作行为,并考察沟通和先前人机交互的影响。
- 实验表明,人们与LLM的合作意愿较高,沟通能显著提升合作率,且人机交互存在合作溢出效应。
📝 摘要(中文)
大型语言模型(LLM)驱动的机器有潜力在各种任务中增强人类能力,这对商业环境具有深远的影响,在这些环境中,有效的沟通、协作和利益相关者的信任至关重要。为了探讨与LLM而非人类互动如何改变此类环境中的合作行为,我们使用了囚徒困境博弈——一种现实世界管理和经济场景的替代。在实验1(N=100)中,参与者与人类、经典机器人和LLM(GPT,实时)进行了30轮重复博弈。在实验2(N=192)中,参与者与人类或LLM进行了一次性博弈,其中一半人可以与对手沟通,使LLM能够利用优于老一代机器的关键优势。与LLM的合作率虽然比与人类对手的互动低约10-15个百分点,但仍然很高。这一发现在实验2中尤为显著,因为自私行为的心理成本降低了。虽然允许就合作进行沟通并没有消除人机行为差距,但它同样增加了与人类和LLM合作的可能性(增加了88%),这对于LLM来说尤其令人惊讶,因为它们的非人类性质以及人们可能不太愿意与机器合作的假设。此外,在与人类互动后,与LLM的合作程度更高,这表明了合作行为的溢出效应。我们的研究结果验证了企业在具有合作成分的环境中(谨慎地)使用LLM。
🔬 方法详解
问题定义:论文旨在研究在合作博弈场景下,人类与大型语言模型(LLM)的互动行为差异。现有方法缺乏对LLM作为合作对象时,人类行为模式的深入理解,尤其是在允许沟通的情况下。传统的合作博弈研究主要集中在人与人之间,或者人与简单规则的机器人之间,无法有效反映LLM的复杂性和潜在影响。
核心思路:论文的核心思路是通过设计实验,模拟现实世界中需要合作的场景,例如商业谈判、资源分配等,并使用囚徒困境博弈作为实验模型。通过对比人类与人类、人类与LLM之间的合作行为,以及引入沟通机制,来考察LLM对人类合作意愿的影响。这种设计能够更真实地反映LLM在实际应用中的潜在影响。
技术框架:论文主要采用实验研究方法,包含两个实验: 1. 实验1:重复博弈。参与者与人类、经典机器人和LLM(GPT)进行30轮重复囚徒困境博弈。 2. 实验2:一次性博弈。参与者与人类或LLM进行一次性囚徒困境博弈,其中一半参与者可以与对手沟通。
关键创新:论文的关键创新在于: 1. 研究对象:首次系统性地研究了人类与LLM在合作博弈中的行为差异。 2. 实验设计:引入沟通机制,模拟更真实的合作场景,考察沟通对人机合作的影响。 3. 发现合作溢出效应:发现先前与人类的互动会影响后续与LLM的合作意愿。
关键设计: 1. 囚徒困境博弈:使用标准的囚徒困境博弈模型,设置合适的收益矩阵,以激励参与者的合作或背叛行为。 2. 沟通机制:允许参与者在博弈前与对手进行简短的文字沟通,考察沟通对合作的影响。 3. LLM选择:选择GPT模型作为LLM的代表,并确保LLM能够实时响应参与者的行为。
📊 实验亮点
实验结果显示,与LLM的合作率虽然低于与人类的合作率(约10-15%),但仍然很高。更重要的是,允许沟通后,与人类和LLM的合作可能性均显著提高(88%)。此外,先前与人类的互动会提高与LLM的合作意愿,表明存在合作溢出效应。这些发现验证了在具有合作成分的商业环境中谨慎使用LLM的合理性。
🎯 应用场景
该研究成果可应用于商业谈判、团队协作、资源分配等需要人机协作的场景。通过了解人类与LLM的合作模式,企业可以更有效地利用LLM来辅助决策、提高效率,并建立更强的利益相关者信任。未来,该研究可以扩展到更复杂的合作场景,例如多智能体协作、人机混合团队等。
📄 摘要(原文)
Machines driven by large language models (LLMs) have the potential to augment humans across various tasks, a development with profound implications for business settings where effective communication, collaboration, and stakeholder trust are paramount. To explore how interacting with an LLM instead of a human might shift cooperative behavior in such settings, we used the Prisoner's Dilemma game -- a surrogate of several real-world managerial and economic scenarios. In Experiment 1 (N=100), participants engaged in a thirty-round repeated game against a human, a classic bot, and an LLM (GPT, in real-time). In Experiment 2 (N=192), participants played a one-shot game against a human or an LLM, with half of them allowed to communicate with their opponent, enabling LLMs to leverage a key advantage over older-generation machines. Cooperation rates with LLMs -- while lower by approximately 10-15 percentage points compared to interactions with human opponents -- were nonetheless high. This finding was particularly notable in Experiment 2, where the psychological cost of selfish behavior was reduced. Although allowing communication about cooperation did not close the human-machine behavioral gap, it increased the likelihood of cooperation with both humans and LLMs equally (by 88%), which is particularly surprising for LLMs given their non-human nature and the assumption that people might be less receptive to cooperating with machines compared to human counterparts. Additionally, cooperation with LLMs was higher following prior interaction with humans, suggesting a spillover effect in cooperative behavior. Our findings validate the (careful) use of LLMs by businesses in settings that have a cooperative component.