Bias Mitigation in Audio-Enabled LLMs through Adversarial Training and Distillation Methods
作者: Adnan Al Ali, Jindřich Libovický, Anne Lauscher
分类: cs.CL, cs.SD
发布日期: 2026-10-15
备注: Submitted to ARR (October 2026)
💡 一句话要点
通过对抗训练和蒸馏方法缓解音频增强大语言模型中的偏见
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音频增强模型 性别偏见 对抗训练 模型蒸馏 自然语言处理 公平性 多模态学习
📋 核心要点
- 现有的音频增强大语言模型在处理非语言线索时，可能会引入基于性别的偏见，影响模型的公平性。
- 本文提出通过对抗训练消除模型对性别的感知，同时保持其他任务的性能，并引入蒸馏方法以实现性别感知的无偏响应。
- 实验结果表明，所提出的方法在性别去学习方面取得了令人满意的效果，而在蒸馏方面也表现出一定的改进。
📝 摘要（中文）
音频增强的大语言模型（AuLLMs）使用户能够通过语音与模型互动，而无需中间转录。这种方式虽然扩展了模型的可访问性和能力，但也可能导致基于非语言线索推断的偏见行为。本文聚焦于性别属性，展示了如何通过对抗方法使模型对性别的感知得以消除，同时在其他基准任务上保持性能不变。此外，论文还提出了一种蒸馏方法，创建一个能够感知性别但在未被明确询问时表现得类似于无性别模型的模型。我们将新提出的方法应用于三种AuLLMs，取得了在性别去学习部分令人满意的结果，而在蒸馏部分则取得了部分满意的结果。
🔬 方法详解
问题定义：本文旨在解决音频增强大语言模型在处理非语言线索时可能引入的性别偏见问题。现有方法在性别感知上存在局限，可能导致不必要的偏见行为。
核心思路：论文的核心思路是通过对抗训练技术消除模型对性别的感知，同时不影响其在其他任务上的性能。此外，采用蒸馏方法创建一个能够感知性别但在未被询问时表现得类似于无性别模型的模型。
技术框架：整体架构包括两个主要阶段：首先是对抗训练阶段，通过对抗样本调整模型参数以消除性别偏见；其次是蒸馏阶段，从无性别模型中提取知识，训练一个新的性别感知模型。
关键创新：最重要的技术创新在于提出了一种有效的对抗训练方法，使得模型能够在不损失其他性能的情况下，去除对性别的感知。这与现有方法的本质区别在于其不需要完全去除性别感知，而是实现无偏的性别感知。
关键设计：在对抗训练中，设计了特定的损失函数以平衡性别去学习和其他任务性能；在蒸馏过程中，采用了教师-学生模型架构，确保学生模型在性别感知上与教师模型保持一致，除非被明确询问。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的对抗训练方法在性别去学习方面取得了显著进展，模型在性别偏见消除上表现出令人满意的效果。同时，在蒸馏部分，模型的性能也有所提升，尽管结果为部分满意。具体性能数据和对比基线尚未披露。
🎯 应用场景
该研究的潜在应用领域包括社交机器人、语音助手以及任何需要自然语言处理的交互系统。通过减少性别偏见，这些模型可以在多样化的用户群体中提供更公平的服务，提升用户体验。未来，这一研究方向可能推动更广泛的无偏见AI系统的开发。
📄 摘要（原文）
Audio-enabled large language models (AuLLMs) allow users to interact with them simply by talking to them, without the need for an intermediate transcription. This expands the model's accessibility and capabilities by encoding non-verbal cues. However, using non-verbal cues may lead to biased behaviour based on the attributes inferred (or assumed) from them. In this work, we focus on the gender attribute and show that models' perception of it can be unlearned using adversarial methods without a loss in performance on other benchmarked tasks. Such models are useful in situations where gender inference is unwanted. However, in other practical settings, gender perception (without bias) may be desired.As a less radical measure, we distil the gender-agnostic model, creating a model that perceives gender but responds similarly to the gender-agnostic teacher, unless explicitly asked.We apply our newly proposed methods to three AuLLMs and obtain satisfactory results in the gender-unlearning part and partially satisfactory results in the distilling part.