Lightweight but Linguistically Fair? Quantisation Robustness across Bavarian, German, and English

📄 arXiv: 2610.18343v1 📥 PDF

作者: Jophin John, Michael Hoffmann, Piroska Lendvai, Florent Dufour

分类: cs.CL, cs.AI

发布日期: 2026-10-13

💡 一句话要点

研究量化鲁棒性以解决区域语言模型的公平性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化鲁棒性 区域语言模型 多语言处理 巴伐利亚语 标准德语 机器学习 语言公平性

📋 核心要点

  1. 现有的量化方法在压缩语言模型时，可能无法有效保留区域方言的语言能力，尤其是低资源方言如巴伐利亚语。
  2. 本文提出了一种基于多选基准测试BAVGROUND的方法，比较不同量化设置对巴伐利亚语、标准德语和英语的影响。
  3. 实验结果显示，8位量化方法在准确性和稳定性上优于4位量化方法，且不同模型和校准数据对结果有显著影响。

📝 摘要（中文）

后训练量化技术可以降低大型语言模型的内存成本，但尚不清楚压缩是否能同样可靠地保留区域方言的语言能力。本文通过BAVGROUND基准测试，研究了巴伐利亚语、标准德语和英语的量化鲁棒性。结果表明，8位量化方法在保持语言相对行为方面表现良好，而4位量化方法则不够稳定，导致准确率下降。整体结果显示，区域语言的量化鲁棒性依赖于模型、量化方法、校准数据和评估设置，不能仅通过多语言准确率来衡量。

🔬 方法详解

问题定义：本文旨在探讨后训练量化对区域语言模型（如巴伐利亚语）的影响，现有方法在压缩时可能导致语言能力的丧失，尤其是在低资源方言中。

核心思路：通过使用BAVGROUND基准测试，比较不同量化方法（BF16、8位GPTQ、4位GPTQ和AWQ）在多语言环境下的表现，以评估其对语言能力的保留程度。

技术框架：研究涉及14个开放权重的7B到10B指令模型，采用多选题形式的基准测试，分析不同量化设置下的模型表现。主要模块包括模型训练、量化方法应用和性能评估。

关键创新：本研究的创新在于系统性地比较了不同量化方法对区域方言的影响，揭示了量化鲁棒性与模型、方法及校准数据之间的复杂关系。

关键设计：在实验中，8位GPTQ方法保持了与BF16相似的表现，而4位方法则导致准确率下降约1.4-1.5个百分点，且对模型决策的影响集中在不确定的示例上。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，8位GPTQ方法在保持语言模型的相对行为方面表现优异，而4位量化方法导致平均准确率下降1.4-1.5个百分点，且对模型决策的影响显著，尤其是在不确定的示例中。整体上，量化鲁棒性受到多种因素的影响，不能仅通过多语言准确率来评估。

🎯 应用场景

该研究的潜在应用领域包括多语言处理、机器翻译和语言模型的公平性评估。通过提高区域方言的量化鲁棒性，可以更好地服务于多样化的语言用户，促进语言技术的普及和公平性。

📄 摘要（原文）

Post-training quantisation reduces the memory cost of large language models, but it remains unclear whether compression preserves language skills of regional varieties as reliably as their standard-language counterparts. We study this question for Bavarian, Standard German, and English using BAVGROUND, a multiple-choice benchmark, where 206 source questions are aligned across all three languages. Across 14 open-weight 7B--10B instruction models, we compare BF16 with 8-bit GPTQ and two 4-bit settings, GPTQ and AWQ. Eight-bit GPTQ remains close to BF16 and largely preserves the relative behaviour of the three languages, while 4-bit quantisation was found to be much less stable. The two 4-bit methods reduce average accuracy by about 1.4--1.5 percentage points and change 11.9--16.0% of BF16 decisions, with changes concentrated on examples where the BF16 model is already uncertain. This instability does not translate into a consistent Bavarian disadvantage. Although Bavarian, a low-resource dialect, has lower baseline accuracy than German and English, the language most affected at 4 bits varies across models and quantisation methods. Calibration further shapes these cross-language effects: the relative Bavarian--German effect changes with calibration language, while changing the calibration source has little average effect on GPTQ-4 but can affect AWQ-4 much more strongly. Free-form evaluation on five models further shows that 4-bit compression can degrade generated responses even in settings where multiple-choice accuracy changes only modestly, while 8-bit GPTQ remains comparatively stable. Overall, our results show that quantisation robustness for regional language varieties depends on the model, quantisation method, calibration data, and evaluation setting, and cannot be measured by aggregate multilingual accuracy alone.