AI-Driven Agents with Prompts Designed for High Agreeableness Increase the Likelihood of Being Mistaken for a Human in the Turing Test

📄 arXiv: 2411.13749v1 📥 PDF

作者: U. León-Domínguez, E. D. Flores-Flores, A. J. García-Jasso, M. K. Gómez-Cuellar, D. Torres-Sánchez, A. Basora-Marimon

分类: cs.AI

发布日期: 2024-11-20

备注: 25 pages, 2 figures, 7 tables

💡 一句话要点

通过设计高亲和力提示词的AI Agent，提升图灵测试中被误判为人类的可能性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图灵测试 人格工程 大型语言模型 人机交互 亲和力

📋 核心要点

  1. 现有AI代理在人机协作中存在挑战，尤其是在机器人领域，需要提高机器的类人程度。
  2. 该研究通过设计不同亲和力水平的提示词，控制GPT代理的人格特征，以提高其在图灵测试中的表现。
  3. 实验结果表明，高亲和力的AI代理在图灵测试中更容易被误判为人类，混淆率超过60%。

📝 摘要（中文）

本研究探索了基于Transformer算法的大型语言模型在图灵测试中的表现，旨在提高AI代理的类人程度，以促进人机协作。实验测试了三种基于“大五人格”理论，具有不同亲和力水平（不合群、中立、合群）的GPT代理。结果显示，所有代理的混淆率均超过50%，其中高亲和力AI代理超过60%，并被认为具有最像人类的特征。研究结果强调了人格工程作为人工智能新兴学科的重要性，并呼吁与心理学合作，开发符合人机工效学的心理模型，以增强协作活动中系统的适应性。

🔬 方法详解

问题定义：该论文旨在解决如何提高AI代理在图灵测试中被误判为人类的可能性，从而改善人机交互体验。现有方法主要集中在提高语言模型的流畅性和知识储备，但忽略了人格特征对用户感知的影响。现有方法的痛点在于无法有效模拟人类的社交行为和情感表达。

核心思路：论文的核心思路是通过人格工程，即设计具有特定人格特征（如高亲和力）的提示词，来引导AI代理的语言输出，使其更符合人类的社交习惯和情感表达方式。这种方法基于心理学理论，认为人格特征是影响人类行为的重要因素，可以通过控制人格特征来影响AI代理的行为表现。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 基于“大五人格”理论，确定AI代理需要模拟的人格特征（亲和力）；2) 设计具有不同亲和力水平（不合群、中立、合群）的提示词；3) 使用GPT模型生成AI代理的回复；4) 进行图灵测试，评估AI代理被误判为人类的可能性；5) 分析实验结果，探讨人格特征对用户感知的影响。

关键创新：该论文的关键创新在于将人格工程引入到AI代理的设计中，通过控制提示词来模拟AI代理的人格特征，从而提高其类人程度。与现有方法相比，该方法更加注重AI代理的社交行为和情感表达，而不仅仅是语言的流畅性和知识储备。

关键设计：关键设计包括：1) 基于“大五人格”理论的亲和力量化方法；2) 用于引导GPT模型生成不同亲和力回复的提示词设计，例如，高亲和力提示词可能包含“友善”、“乐于助人”等关键词；3) 图灵测试的实验设计，包括参与者的选择、对话场景的设置、评估指标的确定等。具体的参数设置和损失函数信息未知。

📊 实验亮点

实验结果表明，高亲和力的AI代理在图灵测试中表现最佳，混淆率超过60%，显著高于其他两种人格类型的AI代理。这表明，人格特征对用户感知AI代理的类人程度具有重要影响。该研究首次验证了人格工程在提高AI代理类人程度方面的有效性。

🎯 应用场景

该研究成果可应用于开发更自然、更友好的AI助手，例如智能客服、虚拟社交伙伴等。通过赋予AI代理特定的人格特征，可以提高用户对其的信任感和满意度，从而促进人机协作。此外，该研究还可以应用于机器人领域，使机器人能够更好地理解人类的情感和意图，从而实现更高效的人机交互。

📄 摘要（原文）

Large Language Models based on transformer algorithms have revolutionized Artificial Intelligence by enabling verbal interaction with machines akin to human conversation. These AI agents have surpassed the Turing Test, achieving confusion rates up to 50%. However, challenges persist, especially with the advent of robots and the need to humanize machines for improved Human-AI collaboration. In this experiment, three GPT agents with varying levels of agreeableness (disagreeable, neutral, agreeable) based on the Big Five Inventory were tested in a Turing Test. All exceeded a 50% confusion rate, with the highly agreeable AI agent surpassing 60%. This agent was also recognized as exhibiting the most human-like traits. Various explanations in the literature address why these GPT agents were perceived as human, including psychological frameworks for understanding anthropomorphism. These findings highlight the importance of personality engineering as an emerging discipline in artificial intelligence, calling for collaboration with psychology to develop ergonomic psychological models that enhance system adaptability in collaborative activities.