FairLLaVA: Fairness-Aware Parameter-Efficient Fine-Tuning for Large Vision-Language Assistants
作者: Mahesh Bhosale, Abdul Wasi, Shantam Srivastava, Shifa Latif, Tianyu Luan, Mingchen Gao, David Doermann, Xuan Gong
分类: cs.CV, cs.AI
发布日期: 2026-03-27
备注: Accepted to CVPR 2026
🔗 代码/项目: GITHUB
💡 一句话要点
FairLLaVA：面向视觉-语言大模型的公平性参数高效微调方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 公平性 参数高效微调 互信息最小化 视觉指令跟随
📋 核心要点
- 多模态大语言模型在图像理解和生成任务中存在公平性问题，不同人群的表现差异显著，尤其在医疗等敏感领域。
- FairLLaVA通过最小化目标属性间的互信息，正则化模型表征，使其对人口统计学特征不敏感，从而提升公平性。
- 实验表明，FairLLaVA在胸部X光报告生成和皮肤镜视觉问答任务中，有效降低了组间差异，提升了公平性和生成质量。
📝 摘要（中文）
多模态大型语言模型(MLLM)在图像条件生成方面表现强大，但可能在不同人群中表现出不均衡的性能，突显了公平性风险。在安全关键的临床环境中，这种差异可能导致不平等的诊断叙述，并削弱对人工智能辅助决策的信任。虽然公平性在纯视觉和纯语言模型中已被广泛研究，但其对MLLM的影响在很大程度上仍未被探索。为了解决这些偏差，我们引入了FairLLaVA，这是一种参数高效的微调方法，可在视觉指令调整中减轻群体差异，而不会影响整体性能。通过最小化目标属性之间的互信息，FairLLaVA正则化模型的表示，使其对人口统计学特征保持不变。该方法可以作为轻量级插件集成，通过低秩适配器微调保持效率，并为公平的视觉指令跟随提供了一种与架构无关的方法。在大型胸部放射学报告生成和皮肤镜视觉问答基准上的大量实验表明，FairLLaVA始终如一地减少了组间差异，同时提高了跨不同医学成像模式的公平性缩放临床性能和自然语言生成质量。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLM）在视觉指令跟随任务中存在的公平性问题。现有方法在优化整体性能时，往往忽略了不同人口统计群体之间的表现差异，导致模型对某些群体产生偏见，尤其是在医疗诊断等领域，这种偏见可能造成严重后果。
核心思路：FairLLaVA的核心思路是通过参数高效的微调方法，使模型学习到的视觉表征对敏感属性（如种族、性别等）保持不变。具体而言，通过最小化模型表征与敏感属性之间的互信息，从而减少模型对这些属性的依赖，实现公平性。
技术框架：FairLLaVA采用一种插件式的微调框架，可以方便地集成到现有的MLLM架构中。该框架基于低秩适配器（LoRA）进行参数高效的微调，从而在保证性能的同时，降低计算成本。整体流程包括：1) 使用预训练的MLLM作为基础模型；2) 在视觉编码器和语言模型之间插入LoRA适配器；3) 使用包含敏感属性标注的数据集进行微调，同时最小化互信息损失；4) 使用公平性指标评估模型性能。
关键创新：FairLLaVA的关键创新在于将互信息最小化引入到MLLM的微调过程中，从而显式地约束模型学习对敏感属性不敏感的表征。与传统的公平性方法相比，FairLLaVA不需要对模型架构进行修改，而是通过一个轻量级的损失函数来实现公平性，具有更好的通用性和可扩展性。
关键设计：FairLLaVA的关键设计包括：1) 使用互信息估计器来近似计算模型表征与敏感属性之间的互信息；2) 使用对抗训练来进一步增强模型的公平性；3) 使用低秩适配器（LoRA）进行参数高效的微调，从而降低计算成本。具体而言，互信息损失函数定义为I(Z; A)，其中Z是模型学习到的视觉表征，A是敏感属性。LoRA适配器通过引入低秩矩阵来更新模型参数，从而在保证性能的同时，降低计算复杂度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FairLLaVA在胸部X光报告生成任务中，将组间差异降低了15%，同时提高了临床性能和自然语言生成质量。在皮肤镜视觉问答任务中，FairLLaVA也取得了类似的提升。与基线方法相比，FairLLaVA在保证整体性能的同时，显著提高了模型的公平性。
🎯 应用场景
FairLLaVA在医疗诊断、人脸识别、招聘等多个领域具有广泛的应用前景。通过减少模型对敏感属性的依赖，可以提高AI系统的公平性和可靠性，避免歧视性结果，增强用户信任。未来，该方法可以推广到其他多模态任务中，例如视频理解、语音识别等，从而构建更加公平和负责任的AI系统。
📄 摘要（原文）
While powerful in image-conditioned generation, multimodal large language models (MLLMs) can display uneven performance across demographic groups, highlighting fairness risks. In safety-critical clinical settings, such disparities risk producing unequal diagnostic narratives and eroding trust in AI-assisted decision-making. While fairness has been studied extensively in vision-only and language-only models, its impact on MLLMs remains largely underexplored. To address these biases, we introduce FairLLaVA, a parameter-efficient fine-tuning method that mitigates group disparities in visual instruction tuning without compromising overall performance. By minimizing the mutual information between target attributes, FairLLaVA regularizes the model's representations to be demographic-invariant. The method can be incorporated as a lightweight plug-in, maintaining efficiency with low-rank adapter fine-tuning, and provides an architecture-agnostic approach to fair visual instruction following. Extensive experiments on large-scale chest radiology report generation and dermoscopy visual question answering benchmarks show that FairLLaVA consistently reduces inter-group disparities while improving both equity-scaled clinical performance and natural language generation quality across diverse medical imaging modalities. Code can be accessed at https://github.com/bhosalems/FairLLaVA.