Investigating Context Effects in Similarity Judgements in Large Language Models

📄 arXiv: 2408.10711v1 📥 PDF

作者: Sagar Uprety, Amit Kumar Jaiswal, Haiming Liu, Dawei Song

分类: cs.AI

发布日期: 2024-08-20

备注: Accepted at The First Workshop on AI Behavioral Science (AIBS 2024), held in conjunction with KDD 2024

💡 一句话要点

研究大型语言模型在相似性判断中受上下文效应的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 认知偏差 顺序效应 相似性判断 行为科学

📋 核心要点

  1. 现有大型语言模型在现实场景中应用广泛，其决策应与人类价值观对齐，但人类决策受认知偏差影响。
  2. 该研究旨在探索大型语言模型在相似性判断中是否表现出与人类相似的顺序效应偏差。
  3. 通过复现人类研究，发现大型语言模型在特定设置下会表现出类似人类的顺序效应偏差。

📝 摘要（中文）

大型语言模型（LLMs）彻底改变了AI模型在理解和生成自然语言文本方面的能力。它们越来越多地被用于增强和部署现实场景中的智能体，这些智能体基于对上下文的理解做出决策和采取行动。因此，研究人员、政策制定者和企业都在努力确保这些智能体做出的决策与人类价值观和用户期望相符。然而，人类的价值观和决策并不总是容易衡量，并且会受到不同的认知偏差的影响。行为科学领域有大量文献研究人类判断中的偏差。在这项工作中，我们报告了一项关于LLM与受顺序偏差影响的人类判断对齐的持续研究。具体来说，我们关注一项著名的人类研究，该研究显示了相似性判断中存在顺序效应的证据，并使用各种流行的LLM复制了该研究。我们报告了LLM表现出类似人类的顺序效应偏差的不同设置，并讨论了这些发现对指导基于LLM的应用程序的设计和开发的影响。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLMs）在进行相似性判断时，是否会受到顺序效应的影响，即判断结果是否会因为输入顺序的不同而产生偏差。现有方法缺乏对LLM认知偏差的系统性评估，尤其是在模拟人类认知偏差方面。

核心思路：论文的核心思路是复现行为科学中关于人类相似性判断顺序效应的经典实验，并将其应用于各种流行的LLM。通过比较LLM和人类在相同实验条件下的表现，评估LLM是否表现出类似人类的认知偏差。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择经典的人类相似性判断实验；2) 设计相应的提示语（prompts）输入LLM；3) 改变输入顺序，观察LLM的判断结果；4) 对比LLM在不同输入顺序下的判断结果，分析是否存在顺序效应；5) 对比LLM与人类的实验结果，评估LLM的认知偏差。

关键创新：该研究的关键创新在于将行为科学中的实验方法引入到LLM的评估中，提供了一种评估LLM认知偏差的新视角。通过复现经典的人类实验，可以更直观地了解LLM在模拟人类认知方面的能力和局限性。

关键设计：论文的关键设计包括：1) 精心设计的提示语，以确保LLM能够理解实验任务；2) 多种流行的LLM，以评估不同模型的表现；3) 严格控制实验变量，以确保结果的可靠性；4) 详细的统计分析，以量化LLM的顺序效应偏差。

🖼️ 关键图片

fig_0

📊 实验亮点

研究发现，在某些特定设置下，大型语言模型表现出与人类相似的顺序效应偏差。这意味着LLM的判断结果会受到输入顺序的影响，这与人类的认知偏差类似。该研究结果为LLM的开发和应用提供了重要的参考，有助于开发者更好地理解和控制LLM的行为。

🎯 应用场景

该研究的潜在应用领域包括：提升LLM在决策制定中的公平性和可靠性，减少认知偏差对LLM应用的影响。实际价值在于帮助开发者设计更符合人类价值观的LLM应用。未来影响可能包括：推动LLM在伦理和安全方面的研究，促进人机协作的和谐发展。

📄 摘要（原文）

Large Language Models (LLMs) have revolutionised the capability of AI models in comprehending and generating natural language text. They are increasingly being used to empower and deploy agents in real-world scenarios, which make decisions and take actions based on their understanding of the context. Therefore researchers, policy makers and enterprises alike are working towards ensuring that the decisions made by these agents align with human values and user expectations. That being said, human values and decisions are not always straightforward to measure and are subject to different cognitive biases. There is a vast section of literature in Behavioural Science which studies biases in human judgements. In this work we report an ongoing investigation on alignment of LLMs with human judgements affected by order bias. Specifically, we focus on a famous human study which showed evidence of order effects in similarity judgements, and replicate it with various popular LLMs. We report the different settings where LLMs exhibit human-like order effect bias and discuss the implications of these findings to inform the design and development of LLM based applications.