FairReason: Balancing Reasoning and Social Bias in MLLMs
作者: Zhenyu Pan, Yutong Zhang, Jianshu Zhang, Haoran Lu, Haozheng Luo, Yuwei Han, Philip S. Yu, Manling Li, Han Liu
分类: cs.AI
发布日期: 2025-07-30 (更新: 2025-09-06)
备注: Accepted to the Trustworthy FMs workshop in ICCV 2025
💡 一句话要点
FairReason：平衡多模态大语言模型中的推理能力与社会偏见
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 社会偏见 推理能力 强化学习 公平性 知识蒸馏 监督微调
📋 核心要点
- 现有提升MLLM推理能力的方法，如高级提示和微调，常导致模型输出中社会偏见加剧。
- 该研究旨在探索推理能力提升与偏见缓解之间的相互作用，并寻找两者之间的平衡点。
- 实验表明，通过强化学习训练，使用1:4的去偏见样本与推理样本混合比例，可有效平衡推理准确率与偏见缓解。
📝 摘要（中文）
多模态大语言模型(MLLMs)已在各种任务和模态中取得了最先进的结果。为了进一步提升其推理能力，最近的研究探索了高级提示策略和后训练微调。尽管这些技术提高了逻辑准确性，但它们经常使模型的输出带有明显的社会偏见。因此，阐明推理能力的提升如何与偏见缓解相互作用，以及这两个目标是否固有地相互制约，仍然是一个开放且紧迫的研究问题。本研究首先在相同条件下对三种偏见缓解策略——监督微调(SFT)、知识蒸馏(KD)和基于规则的强化学习(RL)——进行基准测试，确定它们的基线优势和劣势。在此基础上，我们改变每个范例中以去偏见为重点和以推理为中心的样本比例，以绘制推理与偏见之间的权衡曲线。我们的实验揭示了一个一致的最佳点：使用强化学习训练的约1:4的混合比例，可以在保留模型原始推理准确率的88%的同时，将刻板印象得分降低10%，为平衡MLLM中的公平性和能力提供了具体的指导。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLMs）在提升推理能力的同时，社会偏见也随之加剧的问题。现有方法在追求推理准确率时，往往忽略或加剧了模型中固有的社会偏见，导致输出结果不公平甚至有害。因此，如何在提升推理能力的同时，有效缓解社会偏见，是本研究要解决的核心问题。
核心思路：论文的核心思路是通过系统性地研究不同的偏见缓解策略，并探索推理任务和去偏见任务样本的混合比例，从而找到一个平衡点。该平衡点能够在尽可能保留模型推理能力的同时，显著降低其社会偏见。作者假设，通过合理地调整训练数据中不同类型样本的比例，可以有效地引导模型学习到更加公平和准确的推理模式。
技术框架：论文的技术框架主要包括三个阶段：1) 基线评估：对三种主流的偏见缓解策略（SFT、KD、RL）进行基准测试，评估其在推理能力和偏见缓解方面的表现；2) 比例调整：通过改变训练数据中去偏见样本和推理样本的比例，探索推理能力与偏见之间的权衡关系；3) 性能评估：使用标准数据集和指标，评估模型在推理准确率和社会偏见方面的表现。整个框架旨在系统性地分析不同策略和样本比例对模型性能的影响。
关键创新：论文的关键创新在于系统性地研究了推理能力提升与偏见缓解之间的权衡关系，并提出了一个基于强化学习的混合训练策略，能够在两者之间取得较好的平衡。与以往的研究相比，该论文不仅关注了单一的偏见缓解策略，而且深入探讨了不同训练样本比例对模型性能的影响，从而为平衡MLLM中的公平性和能力提供了更具指导意义的结论。
关键设计：论文的关键设计包括：1) 三种偏见缓解策略的选取：SFT、KD和RL分别代表了不同的训练范式，能够全面评估不同策略的优劣；2) 样本比例的调整：通过系统性地改变去偏见样本和推理样本的比例，探索推理能力与偏见之间的权衡关系；3) 强化学习奖励函数的设计：设计合理的奖励函数，引导模型学习到更加公平和准确的推理模式；4) 评估指标的选择：使用标准数据集和指标，全面评估模型在推理准确率和社会偏见方面的表现。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用强化学习训练的约1:4的去偏见样本与推理样本混合比例，可以在保留模型原始推理准确率的88%的同时，将刻板印象得分降低10%。该结果为平衡MLLM中的公平性和能力提供了具体的指导。
🎯 应用场景
该研究成果可应用于各种需要公平性和准确性的多模态大语言模型应用场景，例如：招聘筛选、信贷评估、医疗诊断等。通过平衡推理能力与社会偏见，可以提高模型的公平性、可靠性和社会价值，避免歧视性结果，促进社会公平。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) already achieve state-of-the-art results across a wide range of tasks and modalities. To push their reasoning ability further, recent studies explore advanced prompting schemes and post-training fine-tuning. Although these techniques improve logical accuracy, they frequently leave the models' outputs burdened with pronounced social biases. Clarifying how reasoning gains interact with bias mitigation-and whether the two objectives inherently trade off-therefore remains an open and pressing research problem. Our study begins by benchmarking three bias-mitigation strategies-supervised fine-uning (SFT), knowledge distillation (KD), and rule-based reinforcement learning (RL)-under identical conditions, establishing their baseline strengths and weaknesses. Building on these results, we vary the proportion of debias-focused and reasoning-centric samples within each paradigm to chart the reasoning-versus-bias trade-off. Our sweeps reveal a consistent sweet spot: a roughly 1:4 mix trained with reinforcement learning cuts stereotype scores by 10% while retaining 88% of the model's original reasoning accuracy, offering concrete guidance for balancing fairness and capability in MLLMs.