Vibe Check: Understanding the Effects of LLM-Based Conversational Agents' Personality and Alignment on User Perceptions in Goal-Oriented Tasks

📄 arXiv: 2509.09870v1 📥 PDF

作者: Hasibur Rahman, Smit Desai

分类: cs.HC, cs.AI, cs.CL

发布日期: 2025-09-11

💡 一句话要点

研究LLM对话Agent人格表达与用户匹配度对目标导向任务用户感知的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话Agent 人格表达 用户感知 人机交互 大型语言模型

📋 核心要点

  1. 现有对话Agent在人格表达方面缺乏细粒度控制，难以实现最佳的用户体验和任务完成效果。
  2. 提出一种基于“特质调制键”框架的方法，用于控制LLM对话Agent在五大人格特质上的表达水平。
  3. 实验结果表明，中等程度的人格表达和用户-Agent人格匹配度能显著提升用户感知和采纳意愿。

📝 摘要（中文）

大型语言模型(LLMs)使对话Agent(CAs)能够表达独特的个性，引发了关于这种设计如何影响用户感知的新问题。本研究调查了人格表达水平和用户-Agent人格匹配度如何影响目标导向任务中的感知。在一个被试间实验(N=150)中，参与者使用在五大人格特质上表现出低、中或高表达的CA完成旅行计划，这些特质通过我们新颖的特质调制键框架进行控制。结果表明，存在倒U型关系：中等表达在智力、乐趣、拟人化、采纳意愿、信任和好感度方面产生了最积极的评价，显著优于两个极端。人格匹配度进一步增强了结果，其中外向性和情绪稳定性成为最具影响力的特质。聚类分析确定了三种不同的兼容性概况，“良好匹配”的用户报告了非常积极的感知。这些发现表明，人格表达和战略性特质匹配是CA人格的最佳设计目标，为基于LLM的CA日益普及提供了设计启示。

🔬 方法详解

问题定义：论文旨在解决如何设计具有人格特征的LLM对话Agent，以优化用户在目标导向任务中的体验。现有方法要么缺乏对人格表达的细粒度控制，要么没有充分考虑用户与Agent之间的人格匹配度，导致用户满意度和任务完成效率不高。

核心思路：论文的核心思路是探索人格表达水平（低、中、高）和用户-Agent人格匹配度对用户感知的影响。通过控制Agent在五大人格特质上的表达，并分析不同匹配度下用户的反馈，寻找最佳的设计策略。论文假设存在一个“最佳人格表达水平”，即中等表达，能够最大化用户的积极感知。

技术框架：整体框架包含以下几个主要步骤：1) 使用“特质调制键”框架控制LLM对话Agent的人格表达；2) 设计一个旅行计划任务，作为用户与Agent交互的场景；3) 招募参与者，并将其随机分配到不同的人格表达水平组；4) 收集用户对Agent的感知数据，包括智力、乐趣、拟人化、采纳意愿、信任和好感度；5) 分析数据，评估人格表达水平和匹配度对用户感知的影响。

关键创新：论文的关键创新在于提出了“特质调制键”框架，该框架允许研究人员以细粒度的方式控制LLM对话Agent在五大人格特质上的表达水平。此外，论文还通过实验验证了人格表达水平和用户-Agent人格匹配度对用户感知的影响，并发现了“最佳人格表达水平”的存在。

关键设计：论文的关键设计包括：1) 使用GPT-3等LLM作为对话Agent的基础模型；2) 使用五大人格特质（外向性、宜人性、尽责性、神经质、开放性）作为人格表达的维度；3) 使用Likert量表评估用户对Agent的感知；4) 使用聚类分析识别不同的用户-Agent兼容性概况；5) 通过统计分析（如ANOVA和t检验）评估不同条件下的用户感知差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，中等程度的人格表达在智力、乐趣、拟人化、采纳意愿、信任和好感度方面显著优于低和高表达。人格匹配度进一步增强了用户感知，外向性和情绪稳定性是最具影响力的特质。聚类分析识别出“良好匹配”的用户群体，他们报告了非常积极的感知。

🎯 应用场景

该研究成果可应用于各种需要人机交互的场景，如智能客服、虚拟助手、教育机器人等。通过优化对话Agent的人格表达和匹配度，可以提升用户满意度、增强用户信任感，并提高任务完成效率。未来，该研究可以扩展到更复杂的人格模型和更广泛的应用领域，例如心理健康咨询和个性化推荐。

📄 摘要（原文）

Large language models (LLMs) enable conversational agents (CAs) to express distinctive personalities, raising new questions about how such designs shape user perceptions. This study investigates how personality expression levels and user-agent personality alignment influence perceptions in goal-oriented tasks. In a between-subjects experiment (N=150), participants completed travel planning with CAs exhibiting low, medium, or high expression across the Big Five traits, controlled via our novel Trait Modulation Keys framework. Results revealed an inverted-U relationship: medium expression produced the most positive evaluations across Intelligence, Enjoyment, Anthropomorphism, Intention to Adopt, Trust, and Likeability, significantly outperforming both extremes. Personality alignment further enhanced outcomes, with Extraversion and Emotional Stability emerging as the most influential traits. Cluster analysis identified three distinct compatibility profiles, with "Well-Aligned" users reporting substantially positive perceptions. These findings demonstrate that personality expression and strategic trait alignment constitute optimal design targets for CA personality, offering design implications as LLM-based CAs become increasingly prevalent.