Acmite: Mitigating Gender Bias in LLMs through Concept-Guided Mutual Information

📄 arXiv: 2610.01696v1 📥 PDF

作者: Tian Lan, Xiaoqing Cheng, Han Zhang, Jiang Li

分类: cs.CL

发布日期: 2026-10-01

备注: 15 pages, 0 figures

💡 一句话要点

提出Acmite以解决大型语言模型中的性别偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 性别偏见 大型语言模型 去偏见 互信息最小化 自然语言处理 机器学习 公平性 AI伦理

📋 核心要点

  1. 现有去偏见方法依赖于显式的偏见示例，难以捕捉跨上下文的刻板印象概念，导致效果不佳。
  2. Acmite通过将刻板印象表示为结构化语义概念，并使用最大边际相关性选择多样化概念，实现有针对性的去偏见。
  3. 实验结果表明，Acmite在多个评估格式中有效减轻性别偏见，同时在与偏见无关的任务上保持竞争性能。

📝 摘要（中文）

大型语言模型（LLMs）可能会重现其训练数据中的社会刻板印象，这促使了对模型去偏见的广泛研究。然而，现有方法通常依赖于显式的偏见示例或预定义的群体术语替代，导致对措辞敏感且难以捕捉跨多样化上下文的刻板印象概念。为此，我们提出了Acmite，一个轻量级的概念引导框架，用于有针对性和选择性的去偏见。Acmite将刻板印象表示为结构化的语义概念，并使用最大边际相关性（MMR）选择多样化的概念进行去偏见。通过最小化互信息，Acmite在保留任务语义的同时，使用token级的KL散度来近似模型输出与潜在刻板印象概念之间的统计依赖关系。我们在BBQ、CrowS-Pairs和StereoSet上评估了Acmite，并在ARC-Challenge、GSM8K和PIQA上评估了其通用能力的保留。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型中存在的性别偏见问题。现有方法往往依赖于显式的偏见示例或预定义的替代词，导致对措辞敏感，难以有效捕捉跨上下文的刻板印象概念。

核心思路：Acmite的核心思路是将刻板印象表示为结构化的语义概念，并通过最大边际相关性（MMR）选择多样化的概念进行去偏见，同时通过最小化互信息来近似模型输出与刻板印象概念之间的统计依赖。

技术框架：Acmite的整体架构包括一个轻量级的LoRA适配器，该适配器在基础模型冻结的情况下进行训练，仅在输入与刻板印象相关概念相似时激活，否则直接使用原始模型。

关键创新：Acmite的主要创新在于其概念引导的去偏见方法，通过结构化语义概念和KL散度的结合，显著提高了去偏见的效果，并与现有方法形成了本质区别。

关键设计：在设计上，Acmite采用了最大边际相关性（MMR）来选择去偏见的概念，并使用token级的KL散度来近似统计依赖关系，确保在去偏见的同时保留任务的语义信息。适配器的激活机制也经过精心设计，以提高效率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，Acmite在BBQ、CrowS-Pairs和StereoSet数据集上有效减轻了性别偏见，且在ARC-Challenge、GSM8K和PIQA等任务上保持了竞争性能。具体而言，Acmite在去偏见任务中表现出显著的提升，且在与偏见无关的任务中未见性能下降，展现了其通用性和有效性。

🎯 应用场景

Acmite的研究成果具有广泛的应用潜力，尤其是在自然语言处理、社交媒体内容生成和人机交互等领域。通过有效减轻性别偏见，Acmite能够提升模型在多样化用户群体中的公平性和接受度，促进更为包容的人工智能应用。未来，Acmite的框架也可扩展至其他类型的偏见去除任务，进一步推动AI伦理的发展。

📄 摘要（原文）

Large language models (LLMs) can reproduce social stereotypes from their training data, motivating extensive research on model debiasing. However, existing methods often rely on explicit biased examples or predefined group-term substitutions, making them sensitive to wording and less effective at capturing stereotype concepts shared across diverse contexts. More importantly, they typically suppress biased outputs without explicitly modeling the statistical dependence between model outputs and the underlying stereotype concepts. We propose Acmite, a lightweight concept-guided framework for targeted and selective debiasing. Acmite represents stereotypes as structured semantic concepts and uses maximal marginal relevance (MMR) to select diverse concepts for debiasing. Inspired by mutual information minimization, it approximates this dependence with token-level KL divergence while preserving task semantics. A lightweight LoRA adapter is trained with the base model frozen and activated at inference time only when the input is sufficiently similar to stereotype-related concepts; otherwise, the original model is used directly. We evaluate Acmite on BBQ, CrowS-Pairs, and StereoSet, and assess general capability preservation on ARC-Challenge, GSM8K, and PIQA. Experiments across three LLMs show that Acmite effectively mitigates gender bias across complementary evaluation formats while maintaining competitive performance on bias-unrelated tasks. Anonymous code and data are available at https://anonymous.4open.science/r/Acmite-18E2/.