ViD: Vision-Dominant Gender Bias Mitigation for Large Vision-Language Models

📄 arXiv: 2609.16647v1 📥 PDF

作者: Zhipeng Zhao, Zhaoqiang Wei, Peishun Liu, Youwei Zhao, Ruichun Tang

分类: cs.CV, cs.MM

发布日期: 2026-09-15

备注: EMNLP 2026 Main

💡 一句话要点

提出ViD框架以解决大型视觉语言模型中的性别偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 性别偏见 视觉语言模型 注意力机制 多模态学习 公平性 模型鲁棒性 文本生成 图像描述

📋 核心要点

  1. 现有的性别偏见缓解方法在动态视觉偏见的捕捉和处理上存在局限性，无法有效应对实时的视觉-文本不一致性。
  2. ViD框架通过分析注意力机制，采用双重机制来抑制强语言先验的影响，同时优化解码层中的令牌选择，以提高模型的鲁棒性和推理效率。
  3. 实验结果表明，ViD在单属性评估（FACET）中减少了14.7%的性别偏见，并在图像描述任务（MS COCO）中显著提升了性能，性别偏见得分从0.6708提高到0.9978。

📝 摘要（中文）

大型视觉语言模型（LVLMs）中的性别偏见削弱了其公平性和可靠性，影响了输出的可信度。现有的缓解方法依赖于训练阶段的调整或后期校准，但在动态视觉偏见缓解方面存在局限性。为了解决这些挑战，本文提出了ViD框架，该框架分析了五种不同模式下的注意力机制，揭示了强语言先验的混淆效应。ViD展示了视觉到语言的交叉注意力能够有效抑制偏见，同时保持一般推理能力和文本生成质量。通过双重机制，ViD显著缓解了LVLMs中多维社会属性的性别偏见，提高了视觉基础和输出公平性。

🔬 方法详解

问题定义：本文旨在解决大型视觉语言模型中的性别偏见问题，现有方法在动态视觉偏见的捕捉和处理上存在不足，无法实时应对视觉与文本之间的不一致性。

核心思路：ViD框架通过分析注意力机制，揭示强语言先验的混淆效应，采用视觉到语言的交叉注意力来抑制偏见，同时保持推理能力和文本生成质量。

技术框架：ViD框架包含两个主要机制：后门调整机制用于抵消强语言先验的影响，优化解码层中的令牌选择以提升处理效率。整体流程包括数据输入、注意力分析、偏见抑制和输出生成。

关键创新：ViD的主要创新在于其因果启发式设计，通过分析注意力机制的不同模式，提供了一种新的动态视觉偏见缓解方法，与传统的训练阶段调整或后期校准方法本质上不同。

关键设计：在参数设置上，ViD优化了解码层的令牌选择策略，采用了适应性损失函数，以提高模型的鲁棒性和推理效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ViD在单属性评估（FACET）中减少了14.7%的性别偏见，并在图像描述任务（MS COCO）中显著提升了性能，性别偏见得分从0.6708提高到0.9978。这些改进无需额外的训练开销，展现了ViD的可扩展性和实用性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容生成、自动化图像描述以及任何需要视觉与语言结合的人工智能系统。通过有效缓解性别偏见，ViD能够提升模型的公平性和可信度，具有重要的社会价值和应用前景。

📄 摘要（原文）

Gender bias in large vision-language models (LVLMs) undermines their fairness and reliability, compromising output trustworthiness. Current mitigation methods rely on training-phase adjustments or post-hoc calibration, but face limitations in dynamic visual bias mitigation. These include inability to capture real-time visual-textual incongruence, dependence on predefined gender bias taxonomies, and degraded cross-modal alignment with emergent bias patterns. To address these challenges, we propose ViD, a causally-inspired framework that analyzes attention mechanisms across five distinct patterns, revealing confounding effects from strong language priors. ViD demonstrates that visual-to-language cross-attention effectively suppresses bias while preserving general reasoning capabilities and text generation quality. ViD incorporates dual mechanisms: backdoor adjustment counters strong language priors, while refined token selection in decoding layers optimizes processing. This enhances model robustness and inference efficiency. Our integrated approach significantly mitigates gender bias across multidimensional social attributes in LVLMs, improving visual grounding and output fairness. Cross-benchmark validation shows ViD reduces gender bias by 14.7\% on single-attribute evaluations (FACET) and achieves significant improvements on image captioning tasks (MS COCO), with gender bias score improving from 0.6708 to 0.9978 for LLaVA. Crucially, these improvements require no additional training overhead, making ViD a scalable and practical solution for bias mitigation in LVLMs.