Are Human Interactions Replicable by Generative Agents? A Case Study on Pronoun Usage in Hierarchical Interactions

📄 arXiv: 2501.15283v1 📥 PDF

作者: Naihao Deng, Rada Mihalcea

分类: cs.CL

发布日期: 2025-01-25

💡 一句话要点

研究表明：大型语言模型驱动的生成Agent在模拟层级交互中的代词使用与人类存在显著差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 社会模拟 生成Agent 代词使用 层级交互

📋 核心要点

  1. 现有社会模拟研究依赖LLM Agent，但其交互模式与人类交互的相似性尚不明确，存在验证需求。
  2. 该研究着重分析LLM Agent在模拟层级交互中代词使用的差异，考察其是否符合人类的语言习惯。
  3. 实验结果表明，LLM Agent在代词使用上与人类存在显著差异，即使理解人类模式也无法有效复现。

📝 摘要（中文）

随着大型语言模型（LLMs）能力的提升，研究人员越来越多地使用它们进行社会模拟。本文旨在研究LLM Agent之间的交互是否与人类的交互相似。具体而言，我们关注领导者和非领导者之间代词使用的差异，并检验模拟是否会导致LLM交互过程中出现类似人类的代词使用模式。我们的评估揭示了基于LLM的模拟与人类代词使用之间的显著差异，基于提示或专门设计的Agent未能表现出类似人类的代词使用模式。此外，我们发现即使LLM理解人类的代词使用模式，它们也无法在实际交互过程中展示出来。我们的研究强调了基于LLM Agent的社会模拟的局限性，并告诫从业者在使用此类社会模拟进行决策时要谨慎。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLMs）驱动的生成Agent在模拟社会交互，特别是层级交互中，是否能够复现人类的语言行为模式。现有方法直接使用LLM进行社会模拟，但缺乏对LLM Agent行为模式与人类行为模式一致性的深入验证，可能导致模拟结果与现实脱节。

核心思路：论文的核心思路是通过对比LLM Agent在模拟层级交互中代词的使用情况与人类在类似情境下的代词使用情况，来评估LLM Agent是否能够准确地模拟人类的语言行为。代词使用是反映个体在社会关系中地位和角色的重要语言特征，因此可以作为评估LLM Agent社会交互能力的关键指标。

技术框架：该研究的技术框架主要包括以下几个步骤：1)构建模拟层级交互的场景，例如领导者和非领导者之间的对话；2)设计基于LLM的Agent，并赋予其不同的角色（领导者或非领导者）；3)让Agent在模拟场景中进行交互，并记录其代词的使用情况；4)收集人类在类似场景下的代词使用数据；5)对比LLM Agent和人类的代词使用模式，评估LLM Agent的社会交互能力。

关键创新：该研究的关键创新在于：1)首次将代词使用作为评估LLM Agent社会交互能力的关键指标；2)系统地对比了LLM Agent和人类在层级交互中的代词使用模式，揭示了LLM Agent在模拟社会交互方面的局限性；3)强调了在使用LLM进行社会模拟时需要谨慎，并提出了进一步改进LLM Agent社会交互能力的潜在方向。

关键设计：论文的关键设计包括：1)精心设计的模拟场景，确保能够有效地诱发Agent的社会交互行为；2)选择合适的LLM作为Agent的基础模型，并对其进行适当的prompting或fine-tuning，以提高其社会交互能力；3)采用合适的统计方法来分析LLM Agent和人类的代词使用数据，例如计算代词的使用频率、分布等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，无论是基于提示的Agent还是专门设计的Agent，都未能表现出与人类相似的代词使用模式。即使LLM理解人类的代词使用模式，也无法在实际交互中有效复现。这表明当前LLM在模拟人类社会交互方面存在显著局限性，需要进一步研究和改进。

🎯 应用场景

该研究成果可应用于评估和改进基于LLM的社会模拟系统，例如用于培训领导者、模拟团队协作、预测社会舆情等。研究结果警示我们在使用LLM进行社会模拟时需要谨慎，并强调了开发更具社会意识的LLM Agent的重要性，从而提升社会模拟的可靠性和有效性。

📄 摘要（原文）

As Large Language Models (LLMs) advance in their capabilities, researchers have increasingly employed them for social simulation. In this paper, we investigate whether interactions among LLM agents resemble those of humans. Specifically, we focus on the pronoun usage difference between leaders and non-leaders, examining whether the simulation would lead to human-like pronoun usage patterns during the LLMs' interactions. Our evaluation reveals the significant discrepancies between LLM-based simulations and human pronoun usage, with prompt-based or specialized agents failing to demonstrate human-like pronoun usage patterns. In addition, we reveal that even if LLMs understand the human pronoun usage patterns, they fail to demonstrate them in the actual interaction process. Our study highlights the limitations of social simulations based on LLM agents, urging caution in using such social simulation in practitioners' decision-making process.