Imperfectly Cooperative Human-AI Interactions: Comparing the Impacts of Human and AI Attributes in Simulated and User Studies

📄 arXiv: 2604.15607v1 📥 PDF

作者: Myke C. Cohen, Mingqian Zheng, Neel Bhandari, Hsien-Te Kao, Xuhui Zhou, Daniel Nguyen, Laura Cassani, Maarten Sap, Svitlana Volkova

分类: cs.CL, cs.AI, cs.CY, cs.HC

发布日期: 2026-04-17

备注: Will be presented at ACL 2026 and published in the Findings of the Association for Computational Linguistics: ACL 2026

💡 一句话要点

研究人机交互中人类与AI属性的影响，揭示模拟与真实用户研究的差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 人工智能 模拟实验 用户研究 AI透明度

📋 核心要点

  1. 现有研究对不完全合作场景下，人类人格特质和AI设计特性对人机交互的联合影响探索不足。
  2. 本研究通过模拟和真实用户实验，对比分析了人类与AI属性在招聘谈判和人机交易中的影响。
  3. 研究发现模拟与真实用户实验结果存在差异，AI透明度在真实人机交互中影响更为显著。

📝 摘要（中文）

本研究探讨了在不完全合作场景下，AI设计特性和人类人格特质对人机交互质量和结果的相对及联合影响。通过包含2000次模拟的纯模拟数据集和涉及290名人类参与者的平行实验，研究考察了两种场景：人类求职者与AI招聘代理之间的招聘谈判，以及AI代理可能隐瞒信息以最大化内部目标的人机交易。研究分析了用户的外向性和宜人性，以及AI的设计特性，包括适应性、专业性和链式思考透明度。因果发现分析扩展了以性能为中心的评估，整合了基于场景的结果、沟通分析和问卷调查。结果表明，纯模拟和人类研究数据集之间以及不同场景类型之间存在差异。在模拟实验中，人格特质和AI属性具有相对的影响力。然而，在实际的人类受试者中，AI属性——特别是透明度——的影响更大。讨论了这些差异如何在不同的交互环境中变化，为以人为本的AI代理的未来提供了关键见解。

🔬 方法详解

问题定义：论文旨在研究在不完全合作的人机交互场景中，人类的人格特质（如外向性和宜人性）以及AI的设计属性（如适应性、专业性和透明度）如何影响交互的结果。现有方法通常侧重于性能评估，忽略了人类因素和AI设计选择的复杂交互作用，以及模拟环境与真实用户环境的差异。

核心思路：核心思路是通过对比纯模拟数据和真实用户实验数据，揭示人类人格特质和AI设计属性在不同场景下的相对重要性。通过因果发现分析，整合场景结果、沟通分析和问卷调查，更全面地评估人机交互的质量和效果。强调了AI透明度在真实人机交互中的重要性。

技术框架：整体框架包括两个主要部分：纯模拟实验和真实用户实验。两个实验都围绕招聘谈判和人机交易两种场景展开。模拟实验生成大量数据，用于分析人格特质和AI属性的交互影响。真实用户实验收集人类参与者的行为和反馈，用于验证模拟结果并揭示真实交互中的关键因素。数据分析包括因果发现、沟通分析和问卷调查。

关键创新：关键创新在于对比了纯模拟数据和真实用户数据，揭示了两者之间的差异，强调了在设计人机交互系统时考虑人类因素的重要性。此外，研究还强调了AI透明度在建立用户信任和提高交互质量方面的重要作用。通过因果发现分析，更全面地评估了人机交互的复杂影响。

关键设计：在模拟实验中，研究人员设计了不同的AI代理，具有不同的适应性、专业性和透明度。在真实用户实验中，研究人员招募了具有不同人格特质的参与者。通过精心设计的实验场景和问卷调查，收集了丰富的数据，用于分析人类和AI属性的交互影响。具体参数设置和损失函数等技术细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，在模拟实验中，人格特质和AI属性的影响力相当。但在真实用户实验中，AI属性，特别是透明度，对交互结果的影响更为显著。这表明在设计人机交互系统时，需要更加重视AI的透明度和可解释性，以提高用户的信任度和满意度。具体性能数据和提升幅度未在摘要中明确给出，属于未知信息。

🎯 应用场景

该研究成果可应用于设计更有效、更人性化的人工智能系统，尤其是在需要人机协作的领域，如招聘、谈判、客户服务等。通过理解人类和AI属性的交互影响，可以开发出更适应用户需求、更值得信赖的AI代理，从而提高工作效率和用户满意度。研究结果对于制定人机交互伦理规范和设计原则也具有重要意义。

📄 摘要（原文）

AI design characteristics and human personality traits each impact the quality and outcomes of human-AI interactions. However, their relative and joint impacts are underexplored in imperfectly cooperative scenarios, where people and AI only have partially aligned goals and objectives. This study compares a purely simulated dataset comprising 2,000 simulations and a parallel human subjects experiment involving 290 human participants to investigate these effects across two scenario categories: (1) hiring negotiations between human job candidates and AI hiring agents; and (2) human-AI transactions wherein AI agents may conceal information to maximize internal goals. We examine user Extraversion and Agreeableness alongside AI design characteristics, including Adaptability, Expertise, and chain-of-thought Transparency. Our causal discovery analysis extends performance-focused evaluations by integrating scenario-based outcomes, communication analysis, and questionnaire measures. Results reveal divergences between purely simulated and human study datasets, and between scenario types. In simulation experiments, personality traits and AI attributes were comparatively influential. Yet, with actual human subjects, AI attributes -- particularly transparency -- were much more impactful. We discuss how these divergences vary across different interaction contexts, offering crucial insights for the future of human-centered AI agents.