The LLM Wears Prada: Analysing Gender Bias and Stereotypes through Online Shopping Data
作者: Massimiliano Luca, Ciro Beneduce, Bruno Lepri, Jacopo Staiano
分类: cs.AI, cs.CL, cs.CY
发布日期: 2025-04-02 (更新: 2025-12-11)
💡 一句话要点
利用在线购物数据分析大型语言模型中的性别偏见与刻板印象
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 性别偏见 刻板印象 在线购物数据 电商推荐系统
📋 核心要点
- 现有研究较少关注大型语言模型在电商购物行为分析中存在的性别偏见问题。
- 该研究利用用户在线购物数据，分析LLM预测用户性别时是否受到性别刻板印象的影响。
- 实验结果表明，LLM能一定程度上推断性别，但决策受刻板印象影响，且难以完全消除。
📝 摘要（中文）
随着大型语言模型（LLM）在各个领域的广泛应用，评估训练数据中的统计相关性在多大程度上隐藏了微妙且潜在的偏见变得至关重要。以往对LLM中性别偏见的研究主要集中在与特定性别相关的工作、爱好和情感等方面。本研究提出了一种新的视角，探讨LLM是否仅根据在线购物历史就能预测个体的性别，以及这些预测是否受到性别偏见和刻板印象的影响。我们使用来自美国用户的历史在线购物数据集，评估了六个LLM对性别进行分类的能力，并分析了它们的推理过程以及产品-性别共现关系。结果表明，虽然模型能够以适度的准确率推断性别，但它们的决策往往基于产品类别和性别之间的刻板印象关联。此外，明确指示避免偏见会降低模型预测的确定性，但并不能消除刻板印象模式。我们的研究结果突出了LLM中性别偏见的持久性，并强调了对稳健的偏见缓解策略的需求。
🔬 方法详解
问题定义：论文旨在研究大型语言模型（LLM）是否会基于用户的在线购物历史数据，产生性别偏见和刻板印象。现有方法缺乏对LLM在电商购物场景下性别偏见的深入分析，无法有效识别和缓解模型中的潜在偏见。
核心思路：论文的核心思路是利用用户的在线购物数据作为输入，让LLM预测用户的性别，然后分析模型的推理过程和产品-性别共现关系，从而揭示模型中存在的性别偏见和刻板印象。通过分析模型预测的准确性、置信度和推理逻辑，评估模型对性别刻板印象的依赖程度。
技术框架：整体框架包括数据收集与预处理、模型选择与训练、偏见分析三个主要阶段。首先，收集用户的在线购物历史数据，并进行清洗和格式化。然后，选择多个主流的LLM，并使用购物数据训练模型，使其具备预测用户性别的能力。最后，通过分析模型的预测结果、注意力权重和产品-性别共现关系，评估模型中存在的性别偏见。
关键创新：该研究的关键创新在于提出了一个新颖的视角，即利用在线购物数据来评估LLM中的性别偏见。与以往研究关注工作、爱好等领域不同，该研究关注用户真实的购物行为，更能反映社会文化中的性别刻板印象。此外，该研究还深入分析了模型的推理过程，揭示了模型决策背后的偏见来源。
关键设计：论文使用了六个不同的LLM模型进行实验，包括但不限于BERT、RoBERTa等。在训练过程中，使用了交叉熵损失函数来优化模型的预测性能。为了评估模型的偏见程度，论文分析了模型预测的置信度，并设计了特定的prompt，要求模型解释其预测的原因。此外，论文还计算了产品-性别共现矩阵，用于量化产品类别和性别之间的关联程度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLM能够以适度的准确率推断用户的性别，但其决策往往基于产品类别和性别之间的刻板印象关联。即使明确指示模型避免偏见，也只能降低预测的确定性，而无法完全消除刻板印象模式。例如，模型倾向于将化妆品与女性关联，将电子产品与男性关联。这些发现强调了LLM中性别偏见的顽固性，以及开发有效偏见缓解策略的必要性。
🎯 应用场景
该研究成果可应用于电商推荐系统、广告投放等领域，帮助开发者识别和缓解模型中的性别偏见，避免歧视性行为。同时，该研究也为其他领域的偏见检测和缓解提供了借鉴，有助于构建更加公平和包容的人工智能系统。未来的研究可以进一步探索更有效的偏见缓解策略，并将其应用于更广泛的场景。
📄 摘要（原文）
With the wide and cross-domain adoption of Large Language Models, it becomes crucial to assess to which extent the statistical correlations in training data, which underlie their impressive performance, hide subtle and potentially troubling biases. Gender bias in LLMs has been widely investigated from the perspectives of works, hobbies, and emotions typically associated with a specific gender. In this study, we introduce a novel perspective. We investigate whether LLMs can predict an individual's gender based solely on online shopping histories and whether these predictions are influenced by gender biases and stereotypes. Using a dataset of historical online purchases from users in the United States, we evaluate the ability of six LLMs to classify gender and we then analyze their reasoning and products-gender co-occurrences. Results indicate that while models can infer gender with moderate accuracy, their decisions are often rooted in stereotypical associations between product categories and gender. Furthermore, explicit instructions to avoid bias reduce the certainty of model predictions, but do not eliminate stereotypical patterns. Our findings highlight the persistent nature of gender biases in LLMs and emphasize the need for robust bias-mitigation strategies.