Modality Dropout for Multimodal Device Directed Speech Detection using Verbal and Non-Verbal Features

📄 arXiv: 2310.15261v1 📥 PDF

作者: Gautam Krishna, Sameer Dharur, Oggi Rudovic, Pranay Dighe, Saurabh Adya, Ahmed Hussen Abdelaziz, Ahmed H Tewfik

分类: cs.SD, cs.HC, cs.LG, eess.AS

发布日期: 2023-10-23

备注: 5 pages

💡 一句话要点

提出多模态丢弃技术以提升设备导向语音检测性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 设备导向语音检测 多模态融合 韵律特征 模态丢弃 语音识别 人机交互

📋 核心要点

  1. 现有DDSD系统在实际应用中面临多模态缺失的挑战，影响分类准确性。
  2. 本文提出结合韵律特征与语言线索的融合方案，并引入模态丢弃技术以增强系统鲁棒性。
  3. 实验结果显示，韵律特征提升假接受率8.5%，模态丢弃技术在缺失模态时提升7.4%。

📝 摘要（中文）

设备导向语音检测（DDSD）是区分针对语音助手的查询与背景对话的二分类任务。现有DDSD系统主要依赖语言线索，如声学、文本及自动语音识别（ASR）特征，然而在实际应用中，某些模态可能不可用。本文探讨了增强DDSD系统对缺失模态的鲁棒性的方法，同时引入非语言线索，特别是韵律特征。研究表明，韵律特征通过非线性中间融合技术提升了DDSD性能，假接受率（FA）提高了8.5%。此外，采用模态丢弃技术在推理时缺失模态的情况下，模型性能提升了7.4%。

🔬 方法详解

问题定义：本文解决的是设备导向语音检测（DDSD）中的模态缺失问题。现有方法在实际应用中常常依赖于多种模态，但当某些模态不可用时，分类性能显著下降。

核心思路：论文提出通过融合韵律特征与语言线索来增强DDSD系统的鲁棒性，并引入模态丢弃技术，以便在推理时处理缺失模态的情况。

技术框架：整体架构包括数据预处理、特征提取、模态融合和分类器训练四个主要模块。韵律特征与语言特征通过非线性中间融合进行结合，形成更为丰富的特征表示。

关键创新：最重要的创新在于引入韵律特征与模态丢弃技术的结合，显著提升了DDSD系统在缺失模态情况下的性能，与传统方法相比，增强了系统的适应性和准确性。

关键设计：在模型设计中，采用了特定的损失函数以平衡不同模态的贡献，并优化了网络结构以适应韵律特征的引入，确保模型在多模态输入下的有效性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，采用韵律特征的非线性中间融合方法使假接受率提升了8.5%，而模态丢弃技术在推理时缺失模态的情况下，模型性能提升了7.4%。这些结果显著优于现有的DDSD系统，展示了新方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能家居、车载语音助手及其他人机交互系统。通过提升设备导向语音检测的鲁棒性，能够在多变的环境中更准确地识别用户指令，从而提高用户体验和系统效率。未来，该技术可能在更广泛的语音识别和自然语言处理任务中发挥重要作用。

📄 摘要（原文）

Device-directed speech detection (DDSD) is the binary classification task of distinguishing between queries directed at a voice assistant versus side conversation or background speech. State-of-the-art DDSD systems use verbal cues, e.g acoustic, text and/or automatic speech recognition system (ASR) features, to classify speech as device-directed or otherwise, and often have to contend with one or more of these modalities being unavailable when deployed in real-world settings. In this paper, we investigate fusion schemes for DDSD systems that can be made more robust to missing modalities. Concurrently, we study the use of non-verbal cues, specifically prosody features, in addition to verbal cues for DDSD. We present different approaches to combine scores and embeddings from prosody with the corresponding verbal cues, finding that prosody improves DDSD performance by upto 8.5% in terms of false acceptance rate (FA) at a given fixed operating point via non-linear intermediate fusion, while our use of modality dropout techniques improves the performance of these models by 7.4% in terms of FA when evaluated with missing modalities during inference time.