Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance

📄 arXiv: 2407.07950v2 📥 PDF

作者: Kaitlyn Zhou, Jena D. Hwang, Xiang Ren, Nouha Dziri, Dan Jurafsky, Maarten Sap

分类: cs.CL, cs.AI, cs.HC

发布日期: 2024-07-10 (更新: 2024-10-03)

备注: Preprint

💡 一句话要点

Rel-A.I.：一种以交互为中心的框架，用于评估人类对语言模型输出的依赖程度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 语言模型评估 人类依赖 交互式评估 上下文感知

📋 核心要点

  1. 现有语言模型评估侧重于模型自身的校准，忽略了人类用户在交互中的依赖行为，这无法全面评估人机交互的风险。
  2. Rel-A.I.框架通过衡量人类对语言模型输出的依赖程度，从交互角度评估语言模型的安全性和可靠性。
  3. 实验表明，交互上下文（如知识领域和问候语）显著影响人类的依赖行为，强调了交互特征在评估中的重要性。

📝 摘要（中文）

大型语言模型的安全性关键在于其沟通不确定性、风险和局限性的能力。然而，当前对此类能力的评估依赖于简单的校准，即模型生成的语言是否与其概率相匹配。本文提出了一种以交互为中心的评估框架Rel-A.I.，旨在衡量人类对语言模型生成的依赖程度。该框架研究了交互的上下文特征（例如，讨论的知识领域）以及使用传递温暖或能力的问候语（例如，“我很高兴能提供帮助！”）如何影响人类的依赖行为。研究发现，上下文特征显著影响人类的依赖行为。例如，在回答涉及计算的问题时，人们对语言模型的依赖程度会增加10%，而对被认为更具能力的语言模型的依赖程度会增加30%。结果表明，仅凭校准和语言质量不足以评估人机交互的风险，并说明需要考虑交互上下文的特征。

🔬 方法详解

问题定义：现有的大型语言模型评估方法主要关注模型自身的校准，即模型输出的概率是否与其预测的准确性相符。然而，这种评估方式忽略了人机交互中一个重要的因素：人类用户对模型输出的依赖程度。如果用户过度依赖不准确或有偏见的模型输出，可能会导致严重的后果。因此，如何有效评估人类对语言模型输出的依赖程度，成为了一个亟待解决的问题。

核心思路：本文的核心思路是以人为中心，通过设计交互式实验来直接测量人类对语言模型输出的依赖程度。具体来说，研究人员设计了一系列任务，让参与者与语言模型进行交互，并观察参与者在不同情境下对模型输出的信任和依赖程度。通过分析参与者的行为数据，可以量化人类对语言模型输出的依赖程度，并识别影响依赖行为的关键因素。

技术框架：Rel-A.I.框架主要包含以下几个阶段：1) 任务设计：设计一系列需要人类与语言模型交互完成的任务，这些任务涵盖不同的知识领域和难度级别。2) 交互实验：招募参与者，让他们与语言模型进行交互，完成预设的任务。在交互过程中，记录参与者的行为数据，例如点击、选择、输入等。3) 依赖程度测量：根据参与者的行为数据，计算其对语言模型输出的依赖程度。可以使用多种指标来衡量依赖程度，例如采纳模型建议的比例、修正模型错误的频率等。4) 因素分析：分析不同因素（例如知识领域、模型能力、交互方式）对人类依赖行为的影响。可以使用统计分析方法来识别显著影响依赖程度的关键因素。

关键创新：Rel-A.I.框架的关键创新在于其以交互为中心的评估视角。与传统的模型校准评估方法不同，Rel-A.I.框架直接测量人类对模型输出的依赖程度，从而更全面地评估人机交互的风险。此外，Rel-A.I.框架还考虑了交互上下文的影响，例如知识领域、模型能力、交互方式等，从而更深入地理解人类依赖行为的内在机制。

关键设计：在实验设计方面，论文使用了不同类型的任务，包括计算题和知识问答题，以考察人类在不同知识领域对语言模型的依赖程度。同时，论文还使用了不同的问候语来模拟不同的模型人格，例如“我很高兴能提供帮助！”（传递温暖）和“我是一个专家！”（传递能力），以研究模型人格对人类依赖行为的影响。在数据分析方面，论文使用了统计分析方法来量化人类对语言模型输出的依赖程度，并识别显著影响依赖程度的关键因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，人类对语言模型的依赖程度受到交互上下文的显著影响。例如，在回答涉及计算的问题时，人们对语言模型的依赖程度会增加10%，而对被认为更具能力的语言模型的依赖程度会增加30%。这些结果强调了在评估人机交互风险时，仅凭校准和语言质量是不够的，需要考虑交互上下文的特征。

🎯 应用场景

Rel-A.I.框架可应用于评估和改进各种人机交互系统，例如智能客服、虚拟助手和教育机器人。通过了解人类对不同类型语言模型输出的依赖程度，可以设计更安全、更可靠的人机交互界面，并制定更有效的模型训练策略，从而减少因过度依赖不准确或有偏见的模型输出而造成的风险。该研究有助于推动负责任的人工智能发展。

📄 摘要（原文）

The ability to communicate uncertainty, risk, and limitation is crucial for the safety of large language models. However, current evaluations of these abilities rely on simple calibration, asking whether the language generated by the model matches appropriate probabilities. Instead, evaluation of this aspect of LLM communication should focus on the behaviors of their human interlocutors: how much do they rely on what the LLM says? Here we introduce an interaction-centered evaluation framework called Rel-A.I. (pronounced "rely"}) that measures whether humans rely on LLM generations. We use this framework to study how reliance is affected by contextual features of the interaction (e.g, the knowledge domain that is being discussed), or the use of greetings communicating warmth or competence (e.g., "I'm happy to help!"). We find that contextual characteristics significantly affect human reliance behavior. For example, people rely 10% more on LMs when responding to questions involving calculations and rely 30% more on LMs that are perceived as more competent. Our results show that calibration and language quality alone are insufficient in evaluating the risks of human-LM interactions, and illustrate the need to consider features of the interactional context.