Sima AIunty: Caste Audit in LLM-Driven Matchmaking

📄 arXiv: 2603.29288v1 📥 PDF

作者: Atharva Naik, Shounok Kar, Varnika Sharma, Ashwin Rajadesingan, Koustuv Saha

分类: cs.CY, cs.AI, cs.CL, cs.HC, cs.SI

发布日期: 2026-03-31

💡 一句话要点

Sima AIunty：LLM婚恋匹配中基于种姓的偏见审计

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 种姓偏见 婚恋匹配 社会公平 AI伦理

📋 核心要点

  1. 婚恋匹配中的种姓偏见是一个重要的社会问题，现有研究缺乏对LLM在此场景下偏见的系统性评估。
  2. 该研究通过控制种姓和收入变量，使用真实婚恋资料，评估了多个主流LLM在婚恋匹配中的种姓偏见。
  3. 实验结果表明，LLM在婚恋匹配中存在显著的种姓偏见，同种姓匹配评分更高，且跨种姓匹配评分符合传统种姓等级。

📝 摘要（中文）

在婚恋等关系领域，社会和个人决策与文化规范和历史等级制度紧密相连，并可能受到算法和AI对兼容性、接受度和稳定性的评估的影响。在南亚，种姓仍然是婚姻决策的核心因素。然而，目前对于大型语言模型（LLM）如何在这种场景下再现或打破基于种姓的等级制度知之甚少。本文利用真实婚恋资料，对LLM婚恋匹配评估中存在的种姓偏见进行了受控审计。我们改变婆罗门、刹帝利、吠舍、首陀罗和达利特等种姓身份以及五个收入等级，并评估了五个LLM家族（GPT、Gemini、Llama、Qwen和BharatGPT）。模型被提示评估社会接受度、婚姻稳定性和文化兼容性等维度。分析表明，模型中存在一致的等级模式：同种姓匹配的评分最高，平均评分比跨种姓匹配高出25%（在10分制范围内），并且跨种姓匹配的评分也符合传统的种姓等级制度。这些发现突显了现有的种姓等级制度如何在LLM决策中再现，并强调需要在社会敏感领域部署的AI系统中采取基于文化的评估和干预策略，以避免此类系统强化历史性的排斥形式。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在婚恋匹配场景中是否存在并如何体现种姓偏见。现有方法缺乏对LLM在这一社会敏感领域的偏见进行系统性的量化评估，可能导致AI系统无意中强化社会不平等。

核心思路：论文的核心思路是通过构建一个受控的实验环境，系统性地改变婚恋资料中的种姓和收入信息，然后利用不同的LLM对这些资料进行匹配评估，从而量化LLM在婚恋匹配中的种姓偏见。这种方法允许研究人员隔离种姓因素的影响，并比较不同LLM之间的偏见程度。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 收集真实婚恋资料；2) 对资料进行处理，控制种姓（婆罗门、刹帝利、吠舍、首陀罗和达利特）和收入（五个等级）变量；3) 使用五个LLM家族（GPT、Gemini、Llama、Qwen和BharatGPT）对处理后的资料进行匹配评估；4) 分析LLM的评估结果，量化种姓偏见。模型被提示评估社会接受度、婚姻稳定性和文化兼容性等维度。

关键创新：该研究的关键创新在于其对LLM在婚恋匹配这一社会敏感领域的种姓偏见进行了系统性的量化评估。此前，很少有研究关注LLM在这种特定场景下的偏见问题。此外，该研究还通过控制种姓和收入变量，构建了一个可重复的实验框架，为后续研究提供了参考。

关键设计：研究的关键设计包括：1) 使用真实婚恋资料，以确保研究的现实意义；2) 控制种姓和收入变量，以隔离种姓因素的影响；3) 使用多个LLM家族，以比较不同模型的偏见程度；4) 使用社会接受度、婚姻稳定性和文化兼容性等多个评估维度，以全面评估LLM的匹配结果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM在婚恋匹配中存在显著的种姓偏见。同种姓匹配的评分平均比跨种姓匹配高出25%（在10分制范围内）。此外，跨种姓匹配的评分也符合传统的种姓等级制度。这些结果表明，现有的种姓等级制度正在LLM决策中被再现。

🎯 应用场景

该研究的潜在应用领域包括AI婚恋匹配系统、社会公平性评估、以及AI伦理研究。研究结果可用于指导AI系统的设计和部署，以减少社会偏见，促进社会公平。此外，该研究也为其他社会敏感领域的AI偏见评估提供了参考。

📄 摘要（原文）

Social and personal decisions in relational domains such as matchmaking are deeply entwined with cultural norms and historical hierarchies, and can potentially be shaped by algorithmic and AI-mediated assessments of compatibility, acceptance, and stability. In South Asian contexts, caste remains a central aspect of marital decision-making, yet little is known about how contemporary large language models (LLMs) reproduce or disrupt caste-based stratification in such settings. In this work, we conduct a controlled audit of caste bias in LLM-mediated matchmaking evaluations using real-world matrimonial profiles. We vary caste identity across Brahmin, Kshatriya, Vaishya, Shudra, and Dalit, and income across five buckets, and evaluate five LLM families (GPT, Gemini, Llama, Qwen, and BharatGPT). Models are prompted to assess profiles along dimensions of social acceptance, marital stability, and cultural compatibility. Our analysis reveals consistent hierarchical patterns across models: same-caste matches are rated most favorably, with average ratings up to 25% higher (on a 10-point scale) than inter-caste matches, which are further ordered according to traditional caste hierarchy. These findings highlight how existing caste hierarchies are reproduced in LLM decision-making and underscore the need for culturally grounded evaluation and intervention strategies in AI systems deployed in socially sensitive domains, where such systems risk reinforcing historical forms of exclusion.