QuantiBias: Benchmarking Quantization-Induced Bias in LLMs
作者: Emilio Ferrara
分类: cs.CL, cs.CY, cs.HC
发布日期: 2026-07-23
备注: Benchmark protocol on Hugging Face: https://huggingface.co/datasets/emilioferrara/quantibias
💡 一句话要点
提出QuantiBias基准以评估LLMs中的量化引起的偏见问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 量化模型 偏见评估 大型语言模型 自然语言处理 人工智能伦理 开放式生成 多语言探测
📋 核心要点
- 现有的量化模型在压缩过程中可能引入偏见，而这一问题在标准安全评估中常常被忽视。
- 本文提出QuantiBias基准，通过结合多语言刻板印象探测器和控制机制，系统评估量化模型的开放式偏见。
- 实验结果显示，量化模型在开放式问题中表现出约24%至27%的偏见，且不同模型和评估标准下的表现存在显著差异。
📝 摘要（中文）
几乎所有广泛使用的大型语言模型都经过量化处理：先以全精度训练，然后进行压缩以提高效率。然而，这一过程的副作用往往被忽视，主要表现为偏见的增加。研究发现，尽管量化模型在固定条件下仍能拒绝有害请求，但在开放式问题中却会自愿提供刻板印象。为此，本文提出了QuantiBias基准，通过生成多语言刻板印象探测器与拒绝和多选控制相结合，评估量化模型的开放式偏见。实验表明，量化模型在开放式生成中表现出显著的偏见，且在不同模型和基准下，量化过程对偏见的影响存在差异。
🔬 方法详解
问题定义：本文旨在解决量化模型在开放式生成中引入的偏见问题。现有方法未能充分评估量化对模型偏见的影响，导致潜在风险未被识别。
核心思路：论文提出QuantiBias基准，通过生成多语言刻板印象探测器与拒绝和多选控制相结合，系统性地评估量化模型的开放式偏见，确保在量化后仍能进行有效的偏见检测。
技术框架：QuantiBias基准包括多个模块：生成刻板印象探测器、拒绝控制、多个选择控制以及内容严重性评分。通过这些模块，研究者能够全面评估量化模型在开放式生成中的表现。
关键创新：最重要的创新在于将量化模型的偏见评估与开放式生成相结合，提出了一种新的评估框架，能够揭示量化过程中的偏见问题，这在现有文献中尚属首次。
关键设计：在实验中，使用了两个基础模型（Qwen和Gemma），并设计了五个家族的筛选标准和八个基准，以确保评估的全面性和准确性。量化过程中，模型的额外精度分配与能力数据相关，但未能有效传递偏见预防信号。
🖼️ 关键图片
📊 实验亮点
实验结果显示，量化模型在开放式问题中表现出显著的偏见，约24%至27%的回答包含刻板印象。与标准评估相比，QuantiBias基准能够更全面地揭示量化模型的偏见，强调了在量化后必须重新评估开放式偏见的重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、人工智能伦理和模型安全性评估。通过识别和量化模型中的偏见，研究者可以在开发和部署大型语言模型时采取更有效的措施，确保其在实际应用中的安全性和公平性，从而减少对社会的负面影响。
📄 摘要（原文）
Almost every large language model that reaches a broad audience is quantized: trained in full precision, then compressed for efficiency. This step is assumed harmless and its safety is rarely re-checked. We find its principal side effect is increased bias that standard safety evaluation misses. Holding the model, its training, and the prompts fixed, a quantized model still refuses harmful requests, still avoids over-refusing benign prompts, and still selects the unbiased multiple-choice answer. Yet asked an open-ended question, the same model volunteers stereotypes in all eight languages we probe, in roughly one in four open-ended answers under an independent judge (~24% to ~27% across the compression ladder): it passes every standard check and still reaches users measurably more biased. The selective gap is a robust finding; whether open-ended bias further increases with compression is less certain, sensitive to the judge that scores it. We address both with \textbf{QuantiBias}, a benchmark that pairs a generative, multilingual stereotype probe with the refusal and multiple-choice controls that isolate open-ended generation, contrasts each build with and without reasoning, and rates the content severity of what it generates. Across two backbone models (Qwen and Gemma), a five-family screen, and eight benchmarks, quantizers allocate their extra precision by capability data that carries no bias-prevention signal, and reasoning before answering roughly halves the effect on some families while doing nothing on others. A quantized build must be re-evaluated for open-ended bias, not only on the short-form safeguards it already passes.