RupeeBias: Auditing Demographic Bias in Indian Economic Guidance from Large Language Models

📄 arXiv: 2609.31245v1 📥 PDF

作者: Pavithra P M Nair, Bhavik Talaviya, Shourya Bhushan, Rahul Pankajakshan, Seema Guruvadoo, Avinash Agarwal, Gilad Gressel, Krishnashree Achuthan

分类: cs.CL

发布日期: 2026-09-25

💡 一句话要点

提出RupeeBias以审计印度经济指导中的人口统计偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人口统计偏见 大型语言模型 经济指导 印度经济 模型审计 社会公平

📋 核心要点

  1. 现有的LLM偏见基准主要基于西方人口统计，无法有效捕捉印度特有的经济差异，导致偏见评估不足。
  2. 本文提出RupeeBias基准，通过固定用户资格描述并逐一变化人口统计标识符，系统审计LLM生成的经济指导中的偏见。
  3. 在对九个LLM的评估中，发现相同提示下不同人口统计标识符的经济输出存在20.2%的平均差异，揭示了系统性偏见。

📝 摘要（中文）

随着人们越来越依赖大型语言模型（LLMs）进行经济决策，从贷款选择到薪资谈判，这些模型可能会重现社会偏见，影响用户的自我价值认知。尤其在印度，经济结果受种姓和城乡等人口统计类别的影响显著。现有的LLM偏见基准主要基于西方人口统计，无法有效评估印度特有的经济差异。为此，本文提出了RupeeBias基准，涵盖39,150个提示，涉及薪资估算、薪资增幅估算、反报价建议和服务定价建议四个用例，系统评估了九个LLM在六个维度上的人口统计偏见，并发现平均偏差达20.2%。

🔬 方法详解

问题定义：本文旨在解决现有LLM在印度经济指导中未能有效评估人口统计偏见的问题。现有方法主要基于西方人口统计，无法反映印度的经济差异和社会结构。

核心思路：RupeeBias基准通过设计39,150个提示，涵盖多种经济场景，固定用户的资格描述，仅变化一个人口统计标识符，以审计LLM生成的经济指导中的偏见。

技术框架：RupeeBias的整体架构包括四个主要用例：薪资估算、薪资增幅估算、反报价建议和服务定价建议。每个用例下的提示均涵盖87个印度特有的人口统计标识符，涉及种姓、宗教、地区身份、性别、残疾和城乡位置六个维度。

关键创新：RupeeBias的创新在于其针对印度特有的经济和人口统计背景设计的基准，填补了现有LLM偏见评估的空白，提供了更具针对性的审计工具。

关键设计：在设计中，所有提示均以英语和Hinglish构建，确保覆盖广泛的用户群体，同时采用单属性反事实设计，以便清晰识别不同人口统计标识符对经济输出的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在对九个大型语言模型的评估中，RupeeBias揭示了系统性的人口统计偏见，发现相同提示下不同人口统计标识符的经济输出平均差异达20.2%。这一发现强调了在印度特定背景下审计LLM生成内容的重要性。

🎯 应用场景

RupeeBias的研究成果可广泛应用于经济指导、政策制定和社会公平等领域。通过识别和审计LLM中的人口统计偏见，能够帮助决策者和开发者改进模型，确保经济建议的公平性和准确性，从而促进社会的整体经济发展与公平性。

📄 摘要（原文）

Individuals turn to large language models (LLMs) for guidance across a wide range of economic tasks, from comparing loan options and planning savings to deciding what raise to ask for or how much to charge for their services. LLMs are known to reproduce social biases, and biased economic guidance may influence what users believe they are worth, what they ask for, and what they ultimately accept. This risk is especially salient in India, where economic outcomes are shaped by demographic categories such as caste and urban-rural location. Existing LLM bias benchmarks, however, are largely designed around Western demographic categories and therefore miss key axes of economic disparity in the Indian context. We introduce RupeeBias, a benchmark for auditing demographic bias in LLM-generated economic guidance across Indian economic settings. RupeeBias consists of 39,150 prompts spanning four use cases: salary estimation, salary increment estimation, counter-offer recommendation, and service pricing recommendation. The benchmark follows a single-attribute counterfactual design, holding the description of the user's qualifications, experience, or service offering fixed while varying one demographic identifier at a time. RupeeBias covers 87 India-specific demographic identifiers across six axes: caste, religion, regional identity, gender, disability, and urban-rural location, with all prompts constructed in both English and Hinglish. We evaluate nine LLMs on RupeeBias and find systematic demographic disparities across all six axes. For otherwise identical prompts that differ only in demographic identifier, LLM-generated economic outputs differ by 20.2% on average. We publicly release RupeeBias to support future research on demographic bias in LLM-generated economic guidance across India-specific demographic and economic contexts.