Group Fairness Meets the Black Box: Enabling Fair Algorithms on Closed LLMs via Post-Processing

📄 arXiv: 2508.11258v1 📥 PDF

作者: Ruicheng Xian, Yuxuan Wan, Han Zhao

分类: cs.LG, cs.CL, cs.CY

发布日期: 2025-08-15

💡 一句话要点

提出后处理框架以实现封闭LLM的公平算法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 公平性算法 大型语言模型 后处理 特征提取 数据效率 分类器训练 上下文学习

📋 核心要点

  1. 现有方法在封闭权重LLM的上下文学习中无法有效应用，导致公平性保障面临挑战。
  2. 本研究提出通过提示从封闭权重LLM中提取特征，并在此基础上进行后处理训练的公平分类器。
  3. 实验结果显示，该框架在五个数据集上表现出色，尤其在数据效率和准确性方面优于传统公平分类器。

📝 摘要（中文）

本论文提出了一种框架，通过提示从封闭权重的大型语言模型（LLM）中导出公平分类器。现有方法主要依赖于传统的公平算法，但在封闭权重LLM的上下文学习中不再适用。我们的方法将LLM视为特征提取器，通过精心设计的提示获取概率预测的特征，并在此基础上应用公平算法进行轻量级分类器的后处理训练。实验结果表明，该框架在多个数据集上展现出良好的准确性与公平性权衡，尤其在数据效率方面优于传统方法。

🔬 方法详解

问题定义：本论文旨在解决在封闭权重大型语言模型（LLM）中实现公平性的问题。现有方法依赖于模型微调或最终层嵌入的头部微调，但在封闭权重LLM的上下文学习中无法适用。

核心思路：论文的核心思路是将LLM视为特征提取器，通过设计特定的提示获取其概率预测的特征，并基于这些特征应用公平算法进行后处理训练。这样设计的原因在于能够利用现有强大的LLM能力，同时避免对模型进行直接修改。

技术框架：整体架构包括三个主要模块：首先，通过设计的提示从LLM中提取特征；其次，利用提取的特征计算公平性统计量；最后，应用公平算法训练轻量级分类器。

关键创新：最重要的技术创新在于提出了一种新的后处理框架，使得在封闭权重LLM上实现公平性成为可能。这与传统方法的根本区别在于不需要对模型进行微调，而是通过特征提取和后处理实现。

关键设计：在关键设计上，论文使用了特定的提示策略来获取LLM的概率预测，并在此基础上设计了适合的损失函数和轻量级网络结构，以确保分类器的公平性和准确性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

📊 实验亮点

实验结果表明，使用该框架的分类器在五个数据集上均表现出色，尤其在数据效率方面，优于传统的基于LLM嵌入的公平分类器，且在准确性与公平性之间取得了良好的平衡。

🎯 应用场景

该研究的潜在应用领域包括金融、医疗和招聘等高风险场景，在这些领域中，确保算法的公平性至关重要。通过实现公平的分类器，能够有效减少算法对不同群体的偏见，提升社会公平性。未来，该框架有望推动更多封闭LLM在公平性保障方面的应用。

📄 摘要（原文）

Instruction fine-tuned large language models (LLMs) enable a simple zero-shot or few-shot prompting paradigm, also known as in-context learning, for building prediction models. This convenience, combined with continued advances in LLM capability, has the potential to drive their adoption across a broad range of domains, including high-stakes applications where group fairness -- preventing disparate impacts across demographic groups -- is essential. The majority of existing approaches to enforcing group fairness on LLM-based classifiers rely on traditional fair algorithms applied via model fine-tuning or head-tuning on final-layer embeddings, but they are no longer applicable to closed-weight LLMs under the in-context learning setting, which include some of the most capable commercial models today, such as GPT-4, Gemini, and Claude. In this paper, we propose a framework for deriving fair classifiers from closed-weight LLMs via prompting: the LLM is treated as a feature extractor, and features are elicited from its probabilistic predictions (e.g., token log probabilities) using prompts strategically designed for the specified fairness criterion to obtain sufficient statistics for fair classification; a fair algorithm is then applied to these features to train a lightweight fair classifier in a post-hoc manner. Experiments on five datasets, including three tabular ones, demonstrate strong accuracy-fairness tradeoffs for the classifiers derived by our framework from both open-weight and closed-weight LLMs; in particular, our framework is data-efficient and outperforms fair classifiers trained on LLM embeddings (i.e., head-tuning) or from scratch on raw tabular features.