Characterizing Similarities and Divergences in Conversational Tones in Humans and LLMs by Sampling with People
作者: Dun-Ming Huang, Pol Van Rijn, Ilia Sucholutsky, Raja Marjieh, Nori Jacoby
分类: cs.CL, cs.HC
发布日期: 2024-06-06
备注: Accepted to Main Conference at ACL 2024
💡 一句话要点
提出一种迭代采样方法，用于表征人类与LLM在对话语气上的异同
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 对话语气 大型语言模型 人机交互 认知科学 迭代采样
📋 核心要点
- 现有对话语气研究依赖预定义分类或语料库，存在实验者偏差，难以代表真实场景。
- 提出一种迭代采样方法，交替进行语气识别和句子生成，以同时引出对话语气和句子。
- 通过实验，构建了人类和GPT-4中对话语气之间关系的可解释几何表示，揭示了二者差异。
📝 摘要（中文）
对话语气是有效沟通的关键。随着大型语言模型（LLM）的日益普及，有必要研究它们在对话语气上与人类的差异。现有研究依赖于预定义的分类或文本语料库，存在实验者偏差，且可能无法代表心理语言学领域的真实分布。受认知科学方法启发，我们提出一种迭代方法，同时引出对话语气和句子。参与者交替执行两个任务：（1）一人识别给定句子的语气；（2）另一人根据该语气生成句子。我们对人类参与者和GPT-4进行了100次迭代，获得了一个包含句子和常见对话语气的数据集。在一个额外的实验中，人类和GPT-4用所有语气标注了所有句子。基于来自1339名人类参与者、33370个人类判断和29900个GPT-4查询的数据，我们展示了如何使用我们的方法创建人类和GPT-4中对话语气之间关系的可解释几何表示。这项工作展示了如何结合机器学习和认知科学的思想来解决人机交互中的挑战。
🔬 方法详解
问题定义：论文旨在解决如何客观、全面地表征人类与大型语言模型（LLM）在对话语气上的异同。现有方法主要依赖于预定义的语气分类体系或已有的文本语料库，这些方法存在固有的局限性：预定义的分类可能带有实验者偏见，无法覆盖所有可能的语气；而现有的语料库可能无法真实反映特定心理语言学领域中的语气分布。因此，需要一种更贴近实际、更少人为干预的方法来研究这个问题。
核心思路：论文的核心思路是借鉴认知科学中的实验方法，设计一个迭代式的采样过程，让参与者（包括人类和LLM）在语气识别和句子生成两个任务之间交替进行。通过这种方式，可以动态地发现和捕捉到更自然、更丰富的对话语气，并避免预设分类带来的局限性。这种迭代过程能够模拟真实对话场景，从而更准确地反映人类和LLM在语气表达上的差异。
技术框架：整体框架包含两个主要阶段：1) 迭代采样阶段：人类参与者或GPT-4交替执行语气识别和句子生成任务。初始句子由研究人员提供，后续句子则由前一轮的参与者根据识别出的语气生成。这个过程重复进行100次，形成一个包含句子和对应语气的数据集。2) 语气标注阶段：所有句子都由人类参与者和GPT-4使用所有预定义的语气进行标注。这个阶段旨在收集更全面的语气判断数据，用于后续的分析和比较。
关键创新：该方法最重要的创新点在于其迭代采样的设计。与传统的基于预定义分类或语料库的方法不同，该方法能够动态地发现和捕捉对话语气，从而减少了实验者偏差，更贴近真实的对话场景。此外，通过让人类和LLM参与相同的迭代过程，可以更直接地比较它们在语气表达上的差异。
关键设计：在迭代采样阶段，关键的设计在于如何确保迭代过程的稳定性和多样性。研究人员通过控制初始句子的选择和迭代次数，来平衡这两个目标。在语气标注阶段，关键的设计在于如何收集高质量的标注数据。研究人员通过使用多个标注者和进行一致性评估，来提高标注数据的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够有效地捕捉到人类和GPT-4在对话语气上的异同。通过对收集到的数据进行分析，研究人员构建了人类和GPT-4中对话语气之间关系的可解释几何表示。该表示揭示了GPT-4在某些语气上的表达能力与人类存在显著差异，例如，GPT-4在表达微妙情感或讽刺语气时可能存在困难。此外，实验还表明，人类参与者对不同语气的判断具有较高的一致性，而GPT-4的判断则相对不稳定。
🎯 应用场景
该研究成果可应用于提升聊天机器人、虚拟助手等AI系统的对话能力，使其能够更自然、更有效地与人类进行交流。通过理解人类对话语气的细微差别，AI系统可以更好地适应用户的需求和情感状态，从而提高用户满意度和信任度。此外，该方法还可以用于评估和比较不同LLM在对话语气上的表现，为LLM的开发和改进提供指导。
📄 摘要（原文）
Conversational tones -- the manners and attitudes in which speakers communicate -- are essential to effective communication. Amidst the increasing popularization of Large Language Models (LLMs) over recent years, it becomes necessary to characterize the divergences in their conversational tones relative to humans. However, existing investigations of conversational modalities rely on pre-existing taxonomies or text corpora, which suffer from experimenter bias and may not be representative of real-world distributions for the studies' psycholinguistic domains. Inspired by methods from cognitive science, we propose an iterative method for simultaneously eliciting conversational tones and sentences, where participants alternate between two tasks: (1) one participant identifies the tone of a given sentence and (2) a different participant generates a sentence based on that tone. We run 100 iterations of this process with human participants and GPT-4, then obtain a dataset of sentences and frequent conversational tones. In an additional experiment, humans and GPT-4 annotated all sentences with all tones. With data from 1,339 human participants, 33,370 human judgments, and 29,900 GPT-4 queries, we show how our approach can be used to create an interpretable geometric representation of relations between conversational tones in humans and GPT-4. This work demonstrates how combining ideas from machine learning and cognitive science can address challenges in human-computer interactions.