Asymmetric Classifier-Free Guidance for Target-Speaker ASR

📄 arXiv: 2609.30476v1 📥 PDF

作者: Yiwen Guan, Jacob Whitehill

分类: eess.AS, cs.CL, cs.SD

发布日期: 2026-09-24

💡 一句话要点

提出非对称无分类器引导以解决目标说话人自动语音识别问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 目标说话人识别 自动语音识别 无分类器引导 语音处理 深度学习

📋 核心要点

  1. 现有的目标说话人自动语音识别方法在处理重叠和噪声条件时，未能有效调整说话人条件的贡献，导致识别性能下降。
  2. 本文提出的非对称无分类器引导方法，通过调整解码过程中的说话人条件贡献，提升了目标说话人的转录准确性。
  3. 实验结果显示，所提方法在领域转移情况下，相对字错误率降低了21.8%，显著优于传统条件解码方法。

📝 摘要（中文）

目标说话人自动语音识别（TS-ASR）需要在不同的重叠和噪声条件下识别和转录所需的说话人。现有方法在解码过程中未能有效调整说话人条件的贡献。本文提出了一种非对称无分类器引导（CFG）方法，利用Whisper模型进行TS-ASR，其中说话人条件分支预测目标转录，而无条件分支则预测多说话人转录。CFG通过单一引导尺度在解码时调整说话人条件的贡献。实验表明，在领域转移下，系统相较于条件基线的相对字错误率（WER）降低了21.8%，相较于标准条件解码降低了5.6%。

🔬 方法详解

问题定义：本文旨在解决目标说话人自动语音识别（TS-ASR）在重叠和噪声条件下的识别准确性问题。现有方法在解码过程中未能灵活调整说话人条件的贡献，导致性能不足。

核心思路：提出非对称无分类器引导（CFG）方法，通过引入说话人条件和无条件分支，动态调整解码时的说话人条件贡献，以提高识别精度。

技术框架：整体架构包括两个主要分支：一个是说话人条件分支，负责预测目标转录；另一个是无条件分支，负责预测多说话人转录。通过单一引导尺度在解码过程中进行调整。

关键创新：最重要的创新在于引入了非对称的结构，使得在解码时可以灵活调整说话人条件的影响，这与传统方法的固定条件处理方式有本质区别。

关键设计：在参数设置上，选择了全局引导尺度，并训练了一个轻量级的编码器预测器，以便为每个发话调整该尺度，保持识别模型不变。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，所提非对称无分类器引导方法在领域转移情况下，相对字错误率（WER）降低了21.8%，相比于条件基线表现出显著提升。同时，相较于标准条件解码，WER降低了5.6%，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括语音助手、会议记录、电话客服等场景，能够在复杂的环境中有效识别目标说话人，提升用户体验。未来，该方法有望在多说话人环境下的语音识别任务中发挥更大作用，推动相关技术的发展。

📄 摘要（原文）

Target-speaker automatic speech recognition (TS-ASR) must identify and transcribe a desired speaker under varying overlap and noise conditions. These changes alter the acoustic evidence for the target speaker in the speech mixture, motivating inference-time calibration of speaker conditioning. We introduce asymmetric classifier-free guidance (CFG) for TS-ASR using Whisper: the speaker-conditioned branch predicts the target transcript, while the speaker-unconditioned branch predicts serialized multi-speaker transcripts. CFG adjusts the contribution of speaker conditioning during decoding through a single guidance scale. We select a global guidance scale on target-domain development data and train a lightweight encoder-based predictor to adjust it for each utterance, keeping the recognition model fixed. Under domain shifts, our full system achieves relative word error rate (WER) reductions of up to 21.8% over the condition-only baseline, and 5.6% over standard conditional decoding of the same CFG-trained model. Oracle analysis shows that substantially larger WER reductions are possible through utterance-level scale selection and identifies how beneficial adjustments vary with domain shifts.