The Mismeasure of Man and Models: Evaluating Allocational Harms in Large Language Models

📄 arXiv: 2408.01285v1 📥 PDF

作者: Hannah Chen, Yangfeng Ji, David Evans

分类: cs.CL, cs.CY

发布日期: 2024-08-02

💡 一句话要点

提出RABBI指标，评估大语言模型在资源分配决策中的潜在偏差危害。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 偏差评估 公平性 资源分配 分配性危害

📋 核心要点

  1. 现有偏差评估方法侧重于模型预测本身，忽略了模型在实际资源分配决策中的潜在危害。
  2. 论文提出RABBI指标，通过分析模型预测排序对资源分配的影响，来评估分配性偏差。
  3. 实验表明，RABBI能更可靠地捕捉分配结果中的群体差异，优于传统的偏差评估指标。

📝 摘要（中文）

大型语言模型（LLM）正被考虑甚至部署于高风险决策应用中，如招聘和临床决策。虽然已有多种方法用于测量偏差，但预测（现有方法关注的重点）与模型如何用于决策之间仍存在差距。本文提出了一种模型无关的偏差度量指标——基于排序分配的偏差指数（RABBI），用于评估LLM预测中偏差可能导致的分配性危害。我们在两个分配决策任务上比较了RABBI和现有偏差指标，并评估了它们在十个LLM上的预测有效性和模型选择效用。结果表明，常用的基于平均性能差距和分布距离的偏差指标无法可靠地捕捉分配结果中的群体差异，而RABBI与分配差异表现出很强的相关性。这项工作强调了在资源有限的情况下，需要考虑模型的使用方式。

🔬 方法详解

问题定义：现有的大语言模型偏差评估方法主要关注模型预测的准确性或公平性，例如测量不同群体之间的平均性能差距或预测分布的差异。然而，这些方法忽略了一个关键问题：模型预测最终如何被用于实际决策，特别是当资源有限时。例如，在招聘场景中，模型可能会对候选人进行排序，而只有排名靠前的候选人才能获得面试机会。因此，即使模型的整体预测偏差很小，也可能导致某些群体在资源分配方面受到不成比例的负面影响。

核心思路：RABBI的核心思路是直接评估模型预测排序对资源分配结果的影响。它不关注模型预测的绝对值，而是关注模型预测排序如何影响不同群体获得资源的机会。通过分析模型预测排序与实际分配结果之间的关系，RABBI能够更准确地捕捉到分配性偏差。

技术框架：RABBI的计算过程主要包括以下几个步骤：1) 使用LLM对一组个体进行排序；2) 根据排序结果，将有限的资源分配给排名靠前的个体；3) 计算不同群体在资源分配方面的差异；4) 使用RABBI指标量化这些差异。RABBI指标的数学定义基于基尼系数，用于衡量资源分配的不平等程度。

关键创新：RABBI的关键创新在于它将偏差评估的重点从模型预测本身转移到模型预测对实际决策的影响。与传统的偏差评估方法相比，RABBI更关注模型在资源分配场景中的公平性。此外，RABBI是一种模型无关的指标，可以用于评估任何类型的LLM。

关键设计：RABBI指标的具体计算公式如下：首先，根据模型预测的排序，计算每个个体获得的资源量。然后，计算不同群体获得的平均资源量。最后，使用基尼系数来量化不同群体之间的资源分配差异。基尼系数的取值范围在0到1之间，值越大表示资源分配越不平等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RABBI与分配差异表现出很强的相关性，而常用的基于平均性能差距和分布距离的偏差指标无法可靠地捕捉分配结果中的群体差异。具体来说，在两个分配决策任务上，RABBI的预测有效性明显优于其他偏差指标。此外，RABBI在模型选择方面也表现出更好的效用，能够帮助选择在资源分配方面表现更公平的模型。

🎯 应用场景

RABBI可应用于各种涉及资源分配的场景，如招聘、信贷审批、医疗资源分配等。它可以帮助决策者识别和减轻LLM在这些场景中可能造成的分配性偏差，从而提高决策的公平性和公正性。此外，RABBI还可以用于模型选择，帮助选择在资源分配方面表现更好的模型。未来，RABBI可以扩展到更复杂的决策场景，并与其他公平性干预措施相结合，以实现更公平的AI系统。

📄 摘要（原文）

Large language models (LLMs) are now being considered and even deployed for applications that support high-stakes decision-making, such as recruitment and clinical decisions. While several methods have been proposed for measuring bias, there remains a gap between predictions, which are what the proposed methods consider, and how they are used to make decisions. In this work, we introduce Rank-Allocational-Based Bias Index (RABBI), a model-agnostic bias measure that assesses potential allocational harms arising from biases in LLM predictions. We compare RABBI and current bias metrics on two allocation decision tasks. We evaluate their predictive validity across ten LLMs and utility for model selection. Our results reveal that commonly-used bias metrics based on average performance gap and distribution distance fail to reliably capture group disparities in allocation outcomes, whereas RABBI exhibits a strong correlation with allocation disparities. Our work highlights the need to account for how models are used in contexts with limited resource constraints.