ChatGPT and U(X): A Rapid Review on Measuring the User Experience

📄 arXiv: 2503.15808v1 📥 PDF

作者: Katie Seaborn

分类: cs.HC, cs.AI, cs.CL, cs.CY

发布日期: 2025-03-20

💡 一句话要点

快速综述ChatGPT用户体验评估方法，填补标准化评估体系的空白。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: ChatGPT 用户体验 人机交互 大型语言模型 快速综述

📋 核心要点

  1. 现有ChatGPT用户体验评估缺乏统一标准，难以系统性地优化用户交互。
  2. 通过快速综述，分析已有的定量评估方法，识别趋势、差距和共识。
  3. 提出初步框架，旨在指导未来研究和工具开发，提升ChatGPT用户体验。

📝 摘要（中文）

自2022年发布以来，由大型语言模型（LLM）驱动的ChatGPT彻底改变了日常人机交互（HCI）。尽管已被全球数百万人使用，但对于评估ChatGPT所提供的用户体验（UX）的连贯途径仍然缺失。本快速综述（N = 58）探讨了迄今为止如何定量地评估ChatGPT UX。重点关注了操纵的自变量（IVs）、测量的因变量（DVs）以及使用的测量方法。研究结果揭示了用户体验评估中的趋势、差距和新兴共识。这项工作为综合现有ChatGPT UX测量方法迈出了第一步，提出了推进标准化和广度的紧迫轨迹，并提供了两个旨在指导未来研究和工具开发的初步框架。旨在通过增强研究人员和从业人员优化用户与ChatGPT和类似基于LLM的系统的交互，来提升ChatGPT UX领域。

🔬 方法详解

问题定义：论文旨在解决ChatGPT用户体验（UX）评估缺乏标准化方法的问题。现有方法分散且不系统，难以对ChatGPT的UX进行全面、客观的评估，阻碍了用户交互的优化。现有方法在自变量选择、因变量测量和评估方法上存在差异，缺乏统一的标准和框架。

核心思路：论文的核心思路是通过对现有研究进行快速综述，系统性地分析已有的ChatGPT UX评估方法，识别其中的趋势、差距和新兴共识。基于这些分析，论文提出了初步的框架，旨在指导未来的研究和工具开发，从而推动ChatGPT UX评估的标准化和系统化。

技术框架：该研究采用快速综述的方法，主要包含以下几个阶段： 1. 文献检索：系统性地检索关于ChatGPT UX评估的相关文献。 2. 文献筛选：根据预定的标准筛选出符合要求的文献。 3. 数据提取：从筛选出的文献中提取关键信息，包括自变量、因变量和评估方法。 4. 数据分析：对提取的数据进行定量和定性分析，识别趋势、差距和共识。 5. 框架构建：基于数据分析的结果，构建初步的ChatGPT UX评估框架。

关键创新：该论文的关键创新在于： 1. 系统性地综述了现有的ChatGPT UX评估方法，填补了该领域的空白。 2. 识别了ChatGPT UX评估中的趋势、差距和新兴共识，为未来的研究提供了方向。 3. 提出了初步的ChatGPT UX评估框架，为标准化评估提供了基础。

关键设计：论文的关键设计在于其快速综述的方法，以及对自变量、因变量和评估方法的系统性分析。具体的技术细节包括： 1. 明确的文献检索和筛选标准，保证了综述的质量。 2. 详细的数据提取表格，确保了关键信息的完整性。 3. 多种数据分析方法，包括定量分析和定性分析，保证了分析的全面性。

🖼️ 关键图片

img_0

📊 实验亮点

该研究通过对58篇相关文献的快速综述，揭示了当前ChatGPT用户体验评估的趋势和不足。研究识别了常用的自变量（如提示词类型、任务复杂度）和因变量（如用户满意度、任务完成时间），并指出了评估方法的多样性。研究结果为构建统一的ChatGPT用户体验评估体系提供了重要参考。

🎯 应用场景

该研究成果可应用于指导ChatGPT及类似LLM系统的用户体验优化，提升用户满意度和使用效率。研究人员和开发者可以利用该综述和框架，设计更有效的评估方法，从而改进产品设计，提升用户体验。此外，该研究也为未来ChatGPT UX评估的标准化奠定了基础。

📄 摘要（原文）

ChatGPT, powered by a large language model (LLM), has revolutionized everyday human-computer interaction (HCI) since its 2022 release. While now used by millions around the world, a coherent pathway for evaluating the user experience (UX) ChatGPT offers remains missing. In this rapid review (N = 58), I explored how ChatGPT UX has been approached quantitatively so far. I focused on the independent variables (IVs) manipulated, the dependent variables (DVs) measured, and the methods used for measurement. Findings reveal trends, gaps, and emerging consensus in UX assessments. This work offers a first step towards synthesizing existing approaches to measuring ChatGPT UX, urgent trajectories to advance standardization and breadth, and two preliminary frameworks aimed at guiding future research and tool development. I seek to elevate the field of ChatGPT UX by empowering researchers and practitioners in optimizing user interactions with ChatGPT and similar LLM-based systems.