A Multimodal Dense Retrieval Approach for Speech-Based Open-Domain Question Answering

📄 arXiv: 2409.13483v1 📥 PDF

作者: Georgios Sidiropoulos, Evangelos Kanoulas

分类: cs.CL, cs.IR

发布日期: 2024-09-20

💡 一句话要点

提出一种ASR-free的多模态稠密检索方法，用于语音开放域问答。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音问答 开放域问答 多模态检索 稠密检索 自动语音识别 端到端学习 对比学习

📋 核心要点

  1. 现有语音开放域问答系统依赖ASR转录，限制了其在低资源语言和专业领域的应用，且ASR错误会传递到检索器。
  2. 本文提出一种无需ASR的端到端多模态稠密检索器，直接处理语音问题，避免了ASR的依赖和错误传递。
  3. 实验表明，在短问题上，该方法优于传统的ASR+检索器流水线，尤其是在ASR容易出错的情况下，检索性能更佳。

📝 摘要（中文）

本文提出了一种用于语音开放域问答的多模态稠密检索方法。语音开放域问答是指在大型文本语料库上，通过语音提问进行问答。由于越来越多的用户通过语音界面与问答系统交互，这项任务变得日益重要。段落检索是语音开放域问答的关键步骤。以往的研究通常采用流水线方式，即先使用自动语音识别（ASR）模型转录语音问题，然后将其输入到稠密文本检索器中。这种流水线方法存在一些局限性。对ASR模型的需求限制了其在低资源语言和缺乏标注语音数据的专业领域的应用。此外，ASR模型还会将其错误传递给检索器。为了缓解这些限制，本文提出了一种无需ASR、端到端训练的多模态稠密检索器，可以直接处理语音问题。实验结果表明，在较短的问题上，我们的检索器是“ASR和检索器”流水线的一个有希望的替代方案，在ASR错误转录问题中的重要词语或产生高词错误率的转录的情况下，实现了更好的检索性能。

🔬 方法详解

问题定义：论文旨在解决语音开放域问答中对ASR的依赖问题。传统的流水线方法需要先使用ASR将语音转录为文本，再进行文本检索。这种方法的痛点在于：一是ASR模型的性能直接影响检索效果，ASR的错误会传递到检索器；二是对于低资源语言或特定领域，缺乏足够的标注数据来训练高性能的ASR模型，限制了其应用。

核心思路：论文的核心思路是直接利用语音信号进行检索，避免中间的ASR转录步骤。通过构建一个多模态的稠密检索器，将语音和文本嵌入到同一个向量空间中，从而可以直接计算语音问题和文本段落之间的相似度，进行检索。这样可以避免ASR的错误传递，并扩展到低资源语言和专业领域。

技术框架：整体框架是一个端到端训练的多模态稠密检索器。它包含两个主要模块：语音编码器和文本编码器。语音编码器负责将语音问题编码成向量表示，文本编码器负责将文本段落编码成向量表示。然后，通过计算两个向量的相似度来进行检索。整个框架通过对比学习进行训练，目标是使相关的语音问题和文本段落的向量表示尽可能接近，而不相关的向量表示尽可能远离。

关键创新：最重要的技术创新点是提出了一个无需ASR的多模态稠密检索器。与传统的流水线方法相比，该方法可以直接处理语音信号，避免了ASR的依赖和错误传递。此外，该方法还利用了多模态信息，将语音和文本信息融合在一起，从而可以更好地理解问题的含义。

关键设计：语音编码器可以使用预训练的语音模型（例如wav2vec 2.0）进行初始化，然后进行微调。文本编码器可以使用预训练的语言模型（例如BERT）进行初始化，然后进行微调。损失函数可以使用对比损失，例如InfoNCE损失。在训练过程中，需要构建正负样本对。正样本对是相关的语音问题和文本段落，负样本对是不相关的语音问题和文本段落。可以通过随机采样或硬负采样来构建负样本对。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在较短的问题上，该方法优于传统的ASR+检索器流水线。尤其是在ASR容易出错的情况下，例如问题中包含专业术语或口音较重，该方法的检索性能提升显著。具体性能数据未知，但论文强调在ASR错误转录重要词语或产生高词错误率时，该方法表现更佳。

🎯 应用场景

该研究成果可应用于各种语音交互式问答系统，例如智能助手、语音搜索、语音客服等。尤其在低资源语言或专业领域，该方法具有更大的应用潜力，可以有效提升语音问答系统的性能和用户体验。未来，该技术有望推动语音交互在更多场景下的应用。

📄 摘要（原文）

Speech-based open-domain question answering (QA over a large corpus of text passages with spoken questions) has emerged as an important task due to the increasing number of users interacting with QA systems via speech interfaces. Passage retrieval is a key task in speech-based open-domain QA. So far, previous works adopted pipelines consisting of an automatic speech recognition (ASR) model that transcribes the spoken question before feeding it to a dense text retriever. Such pipelines have several limitations. The need for an ASR model limits the applicability to low-resource languages and specialized domains with no annotated speech data. Furthermore, the ASR model propagates its errors to the retriever. In this work, we try to alleviate these limitations by proposing an ASR-free, end-to-end trained multimodal dense retriever that can work directly on spoken questions. Our experimental results showed that, on shorter questions, our retriever is a promising alternative to the \textit{ASR and Retriever} pipeline, achieving better retrieval performance in cases where ASR would have mistranscribed important words in the question or have produced a transcription with a high word error rate.