Fair-GPTQ: Bias-Aware Quantization for Large Language Models
作者: Irina Proskurina, Guillaume Metzler, Julien Velcin
分类: cs.CL
发布日期: 2025-09-18 (更新: 2026-02-02)
💡 一句话要点
Fair-GPTQ：面向大语言模型的偏见感知量化方法，提升公平性并保持性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 量化 公平性 偏见缓解 群体公平性
📋 核心要点
- 现有GPTQ等量化方法在降低计算成本的同时，可能加剧大语言模型的偏见，导致公平性下降。
- Fair-GPTQ通过在量化目标中加入群体公平性约束，引导模型学习更公平的舍入操作，减少对受保护群体的偏见。
- 实验表明，Fair-GPTQ在保持90%以上基线准确率的同时，有效降低了不公平性，并与现有去偏方法性能相当。
📝 摘要（中文）
生成式语言模型对内存的高需求使得量化技术备受关注，量化通过将模型权重映射到低精度整数来降低计算成本、内存使用和延迟。诸如GPTQ之类的方法有效地最小化了量化期间的输入-权重乘积误差；然而，最近的经验研究表明，它们可能会增加有偏输出并降低在公平性基准上的性能，并且尚不清楚哪些特定权重导致了此问题。在这项工作中，我们通过将显式的群体公平性约束添加到量化目标中，从而在量化和模型公平性之间建立了新的联系，并引入了Fair-GPTQ，这是第一种明确旨在减少大型语言模型中不公平性的量化方法。添加的约束引导舍入操作的学习，从而减少受保护群体的有偏文本生成。具体来说，我们关注涉及职业偏见和歧视性语言的刻板印象生成，涵盖性别、种族和宗教。Fair-GPTQ对性能的影响最小，在zero-shot基准上保持至少90%的基线准确率，相对于半精度模型降低了不公平性，并保留了4位量化的内存和速度优势。我们还将Fair-GPTQ的性能与现有的去偏方法进行了比较，发现它在种族刻板印象基准上实现了与迭代零空间投影去偏方法相当的性能。总体而言，结果验证了我们带有群体偏见项的量化问题的理论解决方案，突出了其在生成模型量化时减少群体偏见的适用性，并证明了我们的方法可以进一步用于分析通道和权重级别对量化期间公平性的贡献。
🔬 方法详解
问题定义：现有的大语言模型量化方法，如GPTQ，虽然能有效降低计算成本和内存占用，但在量化过程中可能会引入或加剧模型固有的偏见，导致在公平性基准测试中表现下降。具体来说，模型在生成文本时，可能对某些受保护群体（如性别、种族、宗教等）产生带有刻板印象或歧视性的内容。现有方法缺乏对量化过程中偏见问题的考虑，无法有效缓解这一问题。
核心思路：Fair-GPTQ的核心思路是在量化过程中显式地考虑群体公平性。通过在量化目标函数中加入与群体公平性相关的约束项，引导模型在量化时学习到更公平的权重表示。这样，即使模型权重被量化到低精度，也能尽可能地减少对受保护群体的偏见。这种方法旨在在保持模型性能的同时，提升其公平性。
技术框架：Fair-GPTQ的技术框架主要包括以下几个阶段：1) 偏见评估：首先，使用公平性基准测试评估原始模型的偏见程度。2) 量化目标函数构建：在GPTQ的量化目标函数基础上，加入群体公平性约束项。这个约束项旨在最小化模型对不同受保护群体的偏见。3) 量化过程：使用优化算法（如梯度下降）求解带有公平性约束的量化目标函数，得到量化后的模型权重。4) 公平性验证：使用公平性基准测试验证量化后模型的公平性是否得到提升。
关键创新：Fair-GPTQ的关键创新在于将群体公平性约束显式地融入到量化过程中。与传统的量化方法只关注量化误差不同，Fair-GPTQ同时关注量化误差和公平性。这种方法使得模型在量化时能够学习到更公平的权重表示，从而减少偏见。这是第一个专门为减少大型语言模型中的不公平性而设计的量化方法。
关键设计：Fair-GPTQ的关键设计包括：1) 公平性约束项：设计合适的公平性约束项是关键。论文中可能使用了某种特定的公平性度量指标，并将其转化为约束项加入到量化目标函数中。2) 权重调整策略：在量化过程中，需要调整权重以满足公平性约束。这可能涉及到对不同权重进行差异化处理，例如，对那些与偏见相关的权重进行更严格的约束。3) 超参数设置：公平性约束项的权重需要仔细调整，以平衡模型性能和公平性。具体数值未知，需要在实验中进行调整。
🖼️ 关键图片
📊 实验亮点
Fair-GPTQ在zero-shot基准测试中保持了至少90%的基线准确率，同时降低了模型的不公平性。与半精度模型相比，Fair-GPTQ在公平性方面取得了显著提升。此外，Fair-GPTQ在种族刻板印象基准测试中实现了与迭代零空间投影去偏方法相当的性能，证明了其在减少偏见方面的有效性。该方法还保留了4位量化的内存和速度优势。
🎯 应用场景
Fair-GPTQ可应用于各种需要部署大语言模型的场景，尤其是在公平性至关重要的领域，如招聘、信贷评估、教育等。通过减少模型中的偏见，可以避免对特定群体产生歧视性结果，提升社会公平性。该方法还可用于分析模型中哪些权重对公平性影响最大，从而为模型改进提供指导。
📄 摘要（原文）
High memory demands of generative language models have drawn attention to quantization, which reduces computational cost, memory usage, and latency by mapping model weights to lower-precision integers. Approaches such as GPTQ effectively minimize input-weight product errors during quantization; however, recent empirical studies show that they can increase biased outputs and degrade performance on fairness benchmarks, and it remains unclear which specific weights cause this issue. In this work, we draw new links between quantization and model fairness by adding explicit group-fairness constraints to the quantization objective and introduce Fair-GPTQ, the first quantization method explicitly designed to reduce unfairness in large language models. The added constraints guide the learning of the rounding operation toward less-biased text generation for protected groups. Specifically, we focus on stereotype generation involving occupational bias and discriminatory language spanning gender, race, and religion. Fair-GPTQ has minimal impact on performance, preserving at least 90% of baseline accuracy on zero-shot benchmarks, reduces unfairness relative to a half-precision model, and retains the memory and speed benefits of 4-bit quantization. We also compare the performance of Fair-GPTQ with existing debiasing methods and find that it achieves performance on par with the iterative null-space projection debiasing approach on racial-stereotype benchmarks. Overall, the results validate our theoretical solution to the quantization problem with a group-bias term, highlight its applicability for reducing group bias at quantization time in generative models, and demonstrate that our approach can further be used to analyze channel- and weight-level contributions to fairness during quantization.