Collective Bias Mitigation via Model Routing and Collaboration

📄 arXiv: 2610.03240v1 📥 PDF

作者: Mingzhe Du, Luu Anh Tuan, Xiaobao Wu, Yichong Huang, Yue Liu, Dong Huang, Huijun Liu, Bin Ji, Jie M. Zhang, See-Kiong Ng

分类: cs.CL

发布日期: 2026-10-02

💡 一句话要点

提出集体偏见缓解框架以解决大语言模型的偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 偏见缓解 知识共享 模型路由 公平性 协作学习

📋 核心要点

  1. 现有的自我去偏见方法依赖单一模型的内在知识，难以有效解决深层次的刻板印象问题。
  2. 本文提出的集体偏见缓解框架通过组织和选择不同的LLMs，促进知识共享，从而实现更公平的模型响应。
  3. 实验结果显示，CBM在偏见分数上显著降低，例如在年龄偏见评分中，从0.25降低至0.10，展示了其有效性。

📝 摘要（中文）

随着大语言模型（LLMs）在公共卫生、金融和治理等领域的广泛应用，准确性和社会价值的对齐变得愈发重要。然而，LLMs往往会延续或放大训练数据中的偏见，影响公平性。为了解决这一问题，本文提出了集体偏见缓解（CBM）框架，通过学习细粒度模型行为和促进不同LLMs之间的知识共享来减轻偏见。实验结果表明，CBM在偏见缓解方面显著优于单一模型的基线方法，展示了其在实现更公平的LLMs方面的潜力。

🔬 方法详解

问题定义：本文旨在解决大语言模型在训练数据中固有偏见的问题。现有的自我去偏见方法往往无法有效识别和纠正深层次的刻板印象，导致偏见的延续和放大。

核心思路：论文提出的集体偏见缓解（CBM）框架，通过学习不同LLMs的细粒度行为，并促进它们之间的知识共享，以实现更公平的模型输出。这样的设计旨在利用多样化模型的优势，克服单一模型的局限性。

技术框架：CBM框架包括模型选择、模型路由和协作学习三个主要模块。首先，通过有效选择不同的LLMs，构建多样化的模型集群；其次，利用模型路由机制，动态选择最合适的模型进行推理；最后，通过协作学习，促进模型之间的知识共享与偏见缓解。

关键创新：CBM是首个系统性探索不同LLMs的有效选择与组织的方法，显著提升了模型的公平性。与传统的单一模型去偏见方法相比，CBM通过集体智慧实现了更好的偏见缓解效果。

关键设计：在模型选择过程中，采用了基于性能和偏见评估的综合指标；损失函数设计上，结合了公平性和准确性的权衡；网络结构上，利用了多模型协作的机制，以增强模型的整体表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CBM在偏见缓解方面表现优异。在年龄偏见评分的实验中，委员会模型将偏见分数从0.25降低至0.10，展示了显著的性能提升，尤其是在平衡偏见缓解效果与推理成本方面的表现。

🎯 应用场景

该研究的潜在应用领域包括公共卫生、金融服务和政府治理等需要公平性和准确性的场景。通过减轻模型偏见，CBM框架能够提升决策的公正性，增强社会信任，具有重要的实际价值和深远的未来影响。

📄 摘要（原文）

Large language models (LLMs) are increasingly deployed in public health, finance, and governance, requiring both accuracy and societal value alignment. Despite recent advances, LLMs often perpetuate or amplify bias embedded in their training data, posing challenges to fairness. While self-debiasing encourages an LLM to identify and correct its own biases, relying on a single model's intrinsic knowledge may be insufficient to address deeply ingrained stereotypes. To address this limitation, we introduce Collective Bias Mitigation (CBM), a framework that alleviates bias by learning fine-grained model behavior and fostering knowledge sharing among diverse LLMs. This work is the first to systematically explore the effective selection and organization of distinct LLMs to cultivate fairer LLM responses. Experiments show CBM substantially outperforms standalone baselines (e.g., in the top-7 setting, Committee lowers the age bias score from 0.25 to 0.10). Our Debating and Committee topologies achieve substantial bias reduction, with the latter balancing mitigation effectiveness and inference cost, highlighting the potential of CBM for fairer LLMs.