Speak Your Mind: The Speech Continuation Task as a Probe of Voice-Based Model Bias

📄 arXiv: 2509.22061v1 📥 PDF

作者: Shree Harsha Bokkahalli Satish, Harm Lameris, Olivier Perrotin, Gustav Eje Henter, Éva Székely

分类: eess.AS, cs.CL, cs.SD

发布日期: 2025-09-26

备注: 6 pages, 1 figure, Submitted to IEEE ICASSP 2026

💡 一句话要点

提出语音延续任务，用于探测语音模型中基于声音的偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音延续 模型偏见 语音合成 语音模型评估 性别偏见

📋 核心要点

  1. 现有语音模型在处理不同性别和发声类型的语音时可能存在偏见，缺乏有效方法进行系统性评估。
  2. 提出语音延续（SC）任务，通过生成连贯的语音扩展来探测模型在语义和说话人身份保持方面的偏见。
  3. 实验结果表明，模型在文本指标上存在性别效应，且女性语音更容易回归到模态发声，揭示了音质偏见。

📝 摘要（中文）

语音延续（SC）任务旨在生成一段与给定语音提示在语义和说话人身份上都连贯的扩展。相比于对话系统，SC任务仅依赖于单一音频流，因此为探测语音基础模型中的偏见提供了一个更直接的设置。本文首次对SC中的偏见进行了系统性评估，研究了性别和发声类型（气声、紧喉音、末尾紧喉音）如何影响延续行为。我们评估了三个最新的模型：SpiritLM（base和expressive）、VAE-GSLM和SpeechGPT，考察了说话人相似度、音质保持和基于文本的偏见指标。结果表明，虽然说话人相似度和连贯性仍然是一个挑战，但文本评估揭示了显著的模型和性别交互作用：一旦连贯性足够高（对于VAE-GSLM），性别效应就会在诸如能动性和句子极性等文本指标上显现。此外，女性提示的延续比男性提示更强烈地回归到模态发声，揭示了一种系统性的音质偏见。这些发现强调了SC作为一种受控探针，可用于研究语音基础模型中与社会相关的表征偏见，并表明随着延续质量的提高，它将成为一种越来越有用的诊断工具。

🔬 方法详解

问题定义：论文旨在解决语音基础模型中存在的、基于声音特征（如性别和发声类型）的偏见问题。现有方法，如对话系统，在探测这些偏见时不够直接，因为对话涉及复杂的交互和上下文。因此，需要一种更受控的环境来隔离和评估这些偏见。

核心思路：论文的核心思路是利用语音延续（Speech Continuation, SC）任务作为一种探针。SC任务要求模型在给定一段语音提示后，生成一段在语义和说话人身份上都连贯的语音扩展。这种单音频流的设置可以更直接地评估模型在保持说话人特征和避免偏见方面的能力。通过分析生成的语音扩展，可以揭示模型在处理不同性别和发声类型语音时的潜在偏见。

技术框架：整体框架包括以下几个步骤：1) 选择或构建包含不同性别和发声类型的语音提示数据集；2) 使用待评估的语音基础模型（如SpiritLM, VAE-GSLM, SpeechGPT）对这些提示进行语音延续生成；3) 使用一系列指标评估生成的语音扩展，包括说话人相似度、音质保持和基于文本的偏见指标（如能动性和句子极性）。通过对比不同性别和发声类型提示的评估结果，可以分析模型是否存在偏见。

关键创新：该论文的关键创新在于将语音延续任务作为一种探测语音模型偏见的工具。与传统的对话系统或语音识别任务相比，SC任务提供了一个更受控和直接的环境，可以更有效地隔离和评估模型在处理不同声音特征时的偏见。此外，该论文还系统性地研究了性别和发声类型对语音延续行为的影响，并提出了相应的评估指标。

关键设计：论文的关键设计包括：1) 选择合适的语音基础模型进行评估，如SpiritLM, VAE-GSLM, SpeechGPT；2) 设计合理的评估指标，包括说话人相似度（衡量生成语音与提示语音的说话人一致性）、音质保持（衡量生成语音是否保持了提示语音的发声类型）和基于文本的偏见指标（如能动性和句子极性，通过将生成语音转录为文本后进行分析）；3) 对不同性别和发声类型的语音提示进行分组，并对比它们在各项指标上的表现，从而揭示模型是否存在偏见。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，虽然说话人相似度和连贯性仍然是挑战，但文本评估揭示了显著的模型和性别交互作用。对于VAE-GSLM，一旦连贯性足够高，性别效应就会在能动性和句子极性等文本指标上显现。此外，女性提示的延续比男性提示更强烈地回归到模态发声，揭示了一种系统性的音质偏见。

🎯 应用场景

该研究成果可应用于语音合成、语音转换和语音助手等领域，帮助开发者构建更加公平和无偏见的语音模型。通过使用语音延续任务作为评估工具，可以有效识别和缓解模型中存在的性别、口音或其他社会属性相关的偏见，从而提升用户体验和避免潜在的歧视。

📄 摘要（原文）

Speech Continuation (SC) is the task of generating a coherent extension of a spoken prompt while preserving both semantic context and speaker identity. Because SC is constrained to a single audio stream, it offers a more direct setting for probing biases in speech foundation models than dialogue does. In this work we present the first systematic evaluation of bias in SC, investigating how gender and phonation type (breathy, creaky, end-creak) affect continuation behaviour. We evaluate three recent models: SpiritLM (base and expressive), VAE-GSLM, and SpeechGPT across speaker similarity, voice quality preservation, and text-based bias metrics. Results show that while both speaker similarity and coherence remain a challenge, textual evaluations reveal significant model and gender interactions: once coherence is sufficiently high (for VAE-GSLM), gender effects emerge on text-metrics such as agency and sentence polarity. In addition, continuations revert toward modal phonation more strongly for female prompts than for male ones, revealing a systematic voice-quality bias. These findings highlight SC as a controlled probe of socially relevant representational biases in speech foundation models, and suggest that it will become an increasingly informative diagnostic as continuation quality improves.