Through the Eyes of the Beholder: Biometric and Demographic Conditioning for Multimodal Sexism Detection
作者: Ana-Maria Luisa Mocanu, Sebastian Mocanu, Ciprian-Octavian Truică, Elena-Simona Apostol
分类: cs.CL, cs.AI, cs.CV, cs.LG
发布日期: 2026-09-14
💡 一句话要点
提出人本多模态框架以解决网络性别歧视检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 性别歧视检测 多模态融合 人本建模 标签分布学习 心理特征分析 自动翻译 深度学习
📋 核心要点
- 现有的性别歧视检测方法往往忽视了注释者的主观性和人口特征，导致检测结果的偏差和不准确。
- 本研究提出了一种人本多模态框架，通过融合心理和人口特征，优化性别歧视检测的准确性和可靠性。
- 实验结果显示，最佳提交在子任务2.2中排名第29，且在多个子任务中均超越基线，证明了方法的有效性。
📝 摘要（中文）
在互联网环境中，性别歧视的检测是一项高度主观的任务。VANGUARD团队在EXIST 2026任务2中提出了一种以人为中心的多模态框架，分析并整合人类注释者的心理和人口特征。该框架通过交叉注意力架构与特征线性调制条件化融合五种输入模态。通过Gemma 4提取和视觉描述表情包文本，并利用NLLB-200进行英西自动翻译。文本和图像表示由LoRA适配的XLM-RoBERTa和CLIP编码器生成，并与预训练自编码器编码的传感器特征融合。为建模注释者的主观性，我们将子任务2.1框定为标签分布学习问题，优化Kullback-Leibler散度损失。在推理阶段，通过深度多模态网络与训练有素的SVM进行软投票生成预测。我们的最佳提交在子任务2.2中排名第29，且在子任务2.1和2.2中的标准化ICM分数均高于基线，表明以注释者为中心的条件化提供了可用信号。我们发布了完整的流程和分析，以支持可重复的人本建模。
🔬 方法详解
问题定义：本论文旨在解决网络性别歧视检测中的主观性问题，现有方法未能充分考虑注释者的心理和人口特征，导致结果偏差。
核心思路：提出一种人本多模态框架，通过分析注释者的特征来优化检测过程，利用交叉注意力机制和特征线性调制来融合多种输入模态。
技术框架：整体架构包括五种输入模态的融合，使用Gemma 4进行文本提取和视觉描述，NLLB-200进行语言翻译，LoRA适配的XLM-RoBERTa和CLIP编码器生成文本和图像表示，并与传感器特征结合。
关键创新：最重要的创新在于将注释者的主观性建模为标签分布学习问题，优化Kullback-Leibler散度损失，从而提高了检测的准确性。
关键设计：采用软投票机制结合深度多模态网络和训练有素的SVM，损失函数为Kullback-Leibler散度，确保了模型对注释者主观性的有效捕捉。
🖼️ 关键图片
📊 实验亮点
实验结果表明，最佳提交在子任务2.2中排名第29，且在子任务2.1和2.2中的标准化ICM分数均高于基线，显示出以注释者为中心的条件化方法有效提升了检测性能，提供了可用信号。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容监测、在线社区管理以及自动化内容审核等。通过更准确地检测性别歧视，能够促进更健康的网络环境，减少网络暴力和歧视行为的发生。未来，该框架可扩展至其他类型的偏见检测和内容分析。
📄 摘要（原文）
Detecting sexism on the internet is a fundamentally subjective task; our team, VANGUARD, addresses this challenge in the EXIST 2026 Task 2 by proposing a human-centered multimodal framework that analyses and incorporates the psychological and demographic characteristics of human annotators into the detection pipeline. We fuse five input modalities through a cross-attention architecture with Feature-wise Linear Modulation conditioning. Meme text is extracted and visually described with Gemma 4, then augmented by automatic translation between English and Spanish with NLLB-200. Text and image representations are produced by LoRAadapted XLM-RoBERTa and CLIP encoders and fused with sensor features encoded by a pretrained autoencoder. To model annotator subjectivity, we frame Subtask 2.1 as a label distribution learning problem, optimizing a Kullback-Leibler divergence loss over the full annotator label distribution. At inference time, predictions are produced by soft-voting between the deep multimodal network and a complementary SVM trained on stylometric and physiological features. Our best submission ranks 29th out of 114 on Subtask 2.2 (source intention) under soft evaluation, and the normalized ICM scores remain above the baseline on Subtasks 2.1 and 2.2, indicating that annotator-centered conditioning contributes a usable signal. We release our full pipeline and analysis to support reproducible human-centered modeling.