MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks
作者: Allen Nie, Yuhui Zhang, Atharva Amdekar, Chris Piech, Tatsunori Hashimoto, Tobias Gerstenberg
分类: cs.CL
发布日期: 2023-10-30 (更新: 2023-10-31)
备注: 34 pages, 7 figures. NeurIPS 2023
💡 一句话要点
提出MoCa以评估人类语言模型在因果与道德判断任务中的一致性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 因果判断 道德判断 大型语言模型 认知科学 数据集构建 模型评估 人类直觉
📋 核心要点
- 核心问题：现有大型语言模型在因果和道德判断任务中的表现与人类判断存在显著差异，且缺乏对这些差异的深入理解。
- 方法要点：本文通过构建一个包含认知科学研究故事的数据集，并对其进行注释，测试LLMs的判断是否与人类一致。
- 实验或效果：研究发现，尽管较新的LLMs在整体对齐上有所改善，但它们对不同判断因素的权重与人类参与者显著不同。
📝 摘要（中文）
人类对物理和社会世界的常识理解围绕直观理论组织，这些理论支持因果和道德判断。本文收集了来自24篇认知科学论文的故事数据集，并开发了系统对每个故事进行注释。通过该数据集，研究测试了大型语言模型（LLMs）在文本场景中的因果和道德判断是否与人类参与者一致。结果显示，尽管较新的LLMs在整体水平上表现出更好的对齐，但在统计分析中发现，LLMs对不同因素的权重与人类参与者存在显著差异。这些结果表明，结合认知科学的洞见与精心策划的挑战数据集能够超越仅基于汇总指标的比较，揭示LLMs的隐含倾向及其与人类直觉的一致程度。
🔬 方法详解
问题定义：本文旨在解决大型语言模型（LLMs）在因果和道德判断任务中与人类判断不一致的问题。现有方法缺乏对模型判断机制的深入分析，未能揭示模型与人类之间的具体差异。
核心思路：论文通过构建一个包含认知科学研究的故事数据集，系统地注释每个故事中的因果和道德判断因素，从而评估LLMs的判断与人类的对齐程度。这样的设计使得研究能够深入分析模型的判断机制和偏差。
技术框架：整体架构包括数据收集、注释系统开发、模型评估和统计分析四个主要模块。首先，从认知科学文献中收集故事数据，然后对其进行因果和道德因素的注释，最后使用统计方法评估LLMs的判断与人类的对齐情况。
关键创新：最重要的技术创新在于结合了认知科学的理论与大型语言模型的评估，提供了一种新的视角来理解模型的判断机制。这与现有方法的本质区别在于，传统方法往往仅依赖于汇总指标，而未能深入探讨模型的具体判断因素。
关键设计：在数据注释过程中，研究者设定了多个关键参数，包括判断因素的分类标准和注释的一致性评估。此外，使用了适当的损失函数和统计分析方法，以确保对模型判断的准确评估。具体的网络结构和参数设置在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，较新的LLMs在因果和道德判断任务中的整体对齐水平有所提升。然而，统计分析显示，LLMs对不同判断因素的权重与人类参与者存在显著差异，这一发现揭示了模型在判断过程中的隐含倾向。
🎯 应用场景
该研究的潜在应用领域包括人工智能伦理、自动化决策系统和人机交互等。通过理解LLMs的判断机制，可以为构建更符合人类道德和因果直觉的智能系统提供理论支持，进而提升这些系统在实际应用中的可靠性和接受度。
📄 摘要（原文）
Human commonsense understanding of the physical and social world is organized around intuitive theories. These theories support making causal and moral judgments. When something bad happens, we naturally ask: who did what, and why? A rich literature in cognitive science has studied people's causal and moral intuitions. This work has revealed a number of factors that systematically influence people's judgments, such as the violation of norms and whether the harm is avoidable or inevitable. We collected a dataset of stories from 24 cognitive science papers and developed a system to annotate each story with the factors they investigated. Using this dataset, we test whether large language models (LLMs) make causal and moral judgments about text-based scenarios that align with those of human participants. On the aggregate level, alignment has improved with more recent LLMs. However, using statistical analyses, we find that LLMs weigh the different factors quite differently from human participants. These results show how curated, challenge datasets combined with insights from cognitive science can help us go beyond comparisons based merely on aggregate metrics: we uncover LLMs implicit tendencies and show to what extent these align with human intuitions.