AI Will Always Love You: Studying Implicit Biases in Romantic AI Companions

📄 arXiv: 2502.20231v1 📥 PDF

作者: Clare Grogan, Jackie Kay, María Pérez-Ortiz

分类: cs.AI

发布日期: 2025-02-27

💡 一句话要点

研究浪漫AI伴侣中的隐性偏见，揭示性别化角色对LLM响应的刻板影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI伴侣 隐性偏见 性别刻板印象 大型语言模型 情感计算

📋 核心要点

  1. 现有研究较少关注AI伴侣中存在的隐性偏见，特别是与性别角色相关的刻板印象和期望。
  2. 设计了三个实验，分别从隐性关联、情感反应和奉承行为三个维度评估浪漫AI伴侣中的偏见。
  3. 实验结果表明，为LLM分配性别化的关系角色会显著改变其响应，并可能导致刻板印象的出现。

📝 摘要（中文）

现有研究已发现生成模型中存在显性偏见，如职业性别偏见，但用户与AI伴侣之间关系的性别刻板印象和期望的细微差别仍未得到充分探索。本文旨在弥补这一差距，针对浪漫的、具有性别设定的AI伴侣及其用户设计了三个实验，有效评估了不同规模LLM中的隐性偏见。每个实验侧重于不同的维度：隐性关联、情感反应和奉承行为。通过定量分析模型对基线的响应，并使用新设计的指标，旨在衡量和比较不同伴侣系统中表现出的偏见。结果表明，为大型语言模型分配性别化的、关系角色会显著改变模型的响应，并且在某些情况下会产生有偏见和刻板印象的响应。

🔬 方法详解

问题定义：论文旨在研究浪漫AI伴侣中存在的隐性偏见，特别是与性别角色相关的刻板印象。现有方法主要关注生成模型中的显性偏见，而忽略了用户与AI伴侣之间关系的细微差别，以及AI伴侣可能存在的隐性偏见。这些隐性偏见可能会强化有害的性别刻板印象，影响用户体验。

核心思路：论文的核心思路是通过设计针对性的实验，定量评估不同规模LLM在被赋予性别化和关系角色后，在隐性关联、情感反应和奉承行为等方面的表现。通过分析模型对特定提示的响应，并与基线进行比较，来揭示模型中存在的隐性偏见。

技术框架：论文的技术框架主要包括三个实验： 1. 隐性关联测试：使用隐性关联测试（IAT）来评估模型对不同概念（如男性/女性、职业/家庭）的关联强度。 2. 情感反应测试：设计特定情境，评估模型在面对不同情感表达时的反应，例如，模型是否会根据用户的性别而表现出不同的同情程度。 3. 奉承行为测试：评估模型是否会为了迎合用户而表现出奉承行为，以及这种奉承行为是否会因用户的性别而异。

关键创新：论文的关键创新在于： 1. 针对浪漫AI伴侣设计了专门的实验，弥补了现有研究的空白。 2. 提出了新的指标来量化模型在隐性关联、情感反应和奉承行为方面的表现。 3. 系统地比较了不同规模LLM在被赋予性别化角色后的偏见程度。

关键设计：实验的关键设计包括： 1. 提示工程：精心设计提示，以引发模型在不同维度上的响应。 2. 指标选择：选择合适的指标来量化模型的表现，例如，使用IAT得分来衡量隐性关联强度。 3. 模型选择：选择不同规模的LLM进行比较，以评估模型规模对偏见程度的影响。 4. 角色设定：明确定义AI伴侣的性别和关系角色，以模拟真实的用户体验。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，为LLM分配性别化的关系角色会显著改变模型的响应，并且在某些情况下会产生有偏见和刻板印象的响应。例如，在情感反应测试中，模型可能对不同性别的用户表现出不同程度的同情。这些发现强调了在AI伴侣的设计中考虑性别偏见的重要性。

🎯 应用场景

该研究成果可应用于AI伴侣的设计和开发，帮助开发者识别和消除模型中存在的隐性偏见，从而创造更公平、更具包容性的AI伴侣。此外，该研究方法也可推广到其他类型的AI系统中，用于评估和减轻潜在的偏见，提升AI系统的可靠性和公平性。

📄 摘要（原文）

While existing studies have recognised explicit biases in generative models, including occupational gender biases, the nuances of gender stereotypes and expectations of relationships between users and AI companions remain underexplored. In the meantime, AI companions have become increasingly popular as friends or gendered romantic partners to their users. This study bridges the gap by devising three experiments tailored for romantic, gender-assigned AI companions and their users, effectively evaluating implicit biases across various-sized LLMs. Each experiment looks at a different dimension: implicit associations, emotion responses, and sycophancy. This study aims to measure and compare biases manifested in different companion systems by quantitatively analysing persona-assigned model responses to a baseline through newly devised metrics. The results are noteworthy: they show that assigning gendered, relationship personas to Large Language Models significantly alters the responses of these models, and in certain situations in a biased, stereotypical way.