Mitigating Gender Bias in Code Large Language Models via Model Editing

📄 arXiv: 2410.07820v1 📥 PDF

作者: Zhanyue Qin, Haochuan Wang, Zecheng Wang, Deyuan Liu, Cunhang Fan, Zhao Lv, Zhiying Tu, Dianhui Chu, Dianbo Sui

分类: cs.SE, cs.AI, cs.CL

发布日期: 2024-10-10

💡 一句话要点

提出MG-Editing模型编辑方法，缓解代码大语言模型中的性别偏见。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码大语言模型 性别偏见 模型编辑 多粒度编辑 社会公平

📋 核心要点

  1. 代码大语言模型存在性别偏见，源于训练数据未经过滤，导致模型性能与现实不符。
  2. 提出MG-Editing方法，通过多粒度模型编辑，在不同参数层级定位并修正偏见。
  3. 实验表明MG-Editing能有效缓解性别偏见，同时保持代码生成能力，且在行和神经元级别效果最佳。

📝 摘要（中文）

近年来，随着大型语言模型（LLM）技术的成熟和高质量编程代码数据集的出现，研究人员越来越有信心自动解决程序合成的挑战。然而，由于LLM的大部分训练样本都未经筛选，LLM的性能不可避免地可能与现实场景不符，从而导致社会偏见的出现。为了评估和量化代码LLM中的性别偏见，我们提出了一个名为CodeGenBias（代码生成中的性别偏见）的数据集和一个名为FB-Score（事实偏见分数）的评估指标，该指标基于相关职业的实际性别分布。借助CodeGenBias和FB-Score，我们评估和分析了八个主流代码LLM中的性别偏见。先前的工作表明，在知识编辑中表现良好的模型编辑方法有可能减轻LLM中的社会偏见。因此，我们开发了一种名为MG-Editing（多粒度模型编辑）的模型编辑方法，其中包括定位和编辑阶段。我们的模型编辑方法MG-Editing可以应用于模型参数的五个不同级别粒度：完整参数级别、层级别、模块级别、行级别和神经元级别。大量的实验不仅证明了我们的MG-Editing可以有效地减轻代码LLM中的性别偏见，同时保持其一般的代码生成能力，而且还展示了其出色的泛化能力。同时，实验结果表明，考虑到模型的性别偏见及其一般的代码生成能力，MG-Editing在应用于行和神经元级别的粒度时最有效。

🔬 方法详解

问题定义：论文旨在解决代码大语言模型（Code LLM）中存在的性别偏见问题。现有Code LLM由于训练数据未经过筛选，导致模型在生成代码时会带有社会偏见，例如将某些职业与特定性别关联。这种偏见会加剧社会不公，并限制模型的实际应用。

核心思路：论文的核心思路是通过模型编辑（Model Editing）来修正Code LLM中的性别偏见。模型编辑是指在不重新训练整个模型的情况下，通过修改模型参数来改变模型的行为。论文认为，通过精细地调整模型参数，可以消除模型中的性别偏见，同时保持其原有的代码生成能力。

技术框架：MG-Editing方法包含两个主要阶段：定位（Locating）和编辑（Editing）。定位阶段旨在确定模型中哪些参数与性别偏见相关。编辑阶段则根据定位结果，修改这些参数以消除偏见。MG-Editing支持五个不同粒度的参数编辑：完整参数级别、层级别、模块级别、行级别和神经元级别。

关键创新：MG-Editing的关键创新在于其多粒度编辑能力。通过在不同粒度级别上进行编辑，MG-Editing可以更精确地定位和修正模型中的偏见，从而在消除偏见的同时，最大限度地保持模型的原有性能。此外，论文还提出了CodeGenBias数据集和FB-Score指标，用于评估和量化Code LLM中的性别偏见。

关键设计：论文使用CodeGenBias数据集评估模型偏见，FB-Score量化偏见程度。MG-Editing在不同粒度上进行参数调整，例如在行级别，通过修改特定行的权重来影响模型的决策。具体的参数调整策略（如学习率、优化器等）未知，论文重点在于多粒度编辑框架。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MG-Editing能够有效缓解Code LLM中的性别偏见，同时保持其一般的代码生成能力。具体而言，在CodeGenBias数据集上，使用MG-Editing后，模型的FB-Score显著降低，表明性别偏见得到有效缓解。同时，模型在通用代码生成任务上的性能没有明显下降，甚至有所提升。实验还表明，在行和神经元级别进行编辑时，MG-Editing的效果最佳。

🎯 应用场景

该研究成果可应用于各种需要使用代码大语言模型的场景，例如自动化代码生成、代码补全、代码翻译等。通过消除模型中的性别偏见，可以提高模型的公平性和可靠性，避免产生歧视性或不公正的结果。此外，该方法还可以推广到其他类型的社会偏见缓解，具有重要的社会意义。

📄 摘要（原文）

In recent years, with the maturation of large language model (LLM) technology and the emergence of high-quality programming code datasets, researchers have become increasingly confident in addressing the challenges of program synthesis automatically. However, since most of the training samples for LLMs are unscreened, it is inevitable that LLMs' performance may not align with real-world scenarios, leading to the presence of social bias. To evaluate and quantify the gender bias in code LLMs, we propose a dataset named CodeGenBias (Gender Bias in the Code Generation) and an evaluation metric called FB-Score (Factual Bias Score) based on the actual gender distribution of correlative professions. With the help of CodeGenBias and FB-Score, we evaluate and analyze the gender bias in eight mainstream Code LLMs. Previous work has demonstrated that model editing methods that perform well in knowledge editing have the potential to mitigate social bias in LLMs. Therefore, we develop a model editing approach named MG-Editing (Multi-Granularity model Editing), which includes the locating and editing phases. Our model editing method MG-Editing can be applied at five different levels of model parameter granularity: full parameters level, layer level, module level, row level, and neuron level. Extensive experiments not only demonstrate that our MG-Editing can effectively mitigate the gender bias in code LLMs while maintaining their general code generation capabilities, but also showcase its excellent generalization. At the same time, the experimental results show that, considering both the gender bias of the model and its general code generation capability, MG-Editing is most effective when applied at the row and neuron levels of granularity.