WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models

📄 arXiv: 2502.14727v1 📥 PDF

作者: Yifu Chen, Shengpeng Ji, Haoxiao Wang, Ziqing Wang, Siyu Chen, Jinzheng He, Jin Xu, Zhou Zhao

分类: cs.SD, cs.AI, eess.AS

发布日期: 2025-02-20

💡 一句话要点

WavRAG：面向语音对话模型的音频集成检索增强生成框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音对话模型 检索增强生成 音频处理 跨模态检索 知识库 WavRAG

📋 核心要点

  1. 现有RAG框架依赖ASR处理语音，损失音频信息，引入转录误差，计算开销大。
  2. WavRAG直接处理原始音频进行嵌入和检索，并将音频和文本集成到统一知识表示中。
  3. WavRAG在检索性能上与ASR-Text RAG相当，但速度提升10倍，并扩展了RAG到音频模态。

📝 摘要（中文）

检索增强生成(RAG)因其增强大型语言模型(LLM)集成外部知识的能力而得到广泛应用。然而，现有的RAG框架主要为基于文本的LLM设计，并依赖自动语音识别(ASR)来处理语音输入，这丢弃了关键的音频信息，增加了转录错误的风险，并增加了计算开销。因此，我们引入了WavRAG，这是第一个具有原生端到端音频支持的检索增强生成框架。WavRAG提供两个关键特性：1)绕过ASR，WavRAG直接处理原始音频以进行嵌入和检索。2)WavRAG将音频和文本集成到统一的知识表示中。具体来说，我们提出了WavRetriever，以促进从文本-音频混合知识库中进行检索，并通过集成思维链推理进一步增强语音对话模型的上下文能力。与最先进的ASR-Text RAG流程相比，WavRAG实现了相当的检索性能，同时提供了10倍的加速。此外，WavRAG独特的文本-音频混合检索能力将RAG的边界扩展到音频模态。

🔬 方法详解

问题定义：现有检索增强生成（RAG）框架主要针对文本LLM设计，处理语音输入时依赖自动语音识别（ASR）。这种方式的痛点在于：一是忽略了原始音频中包含的丰富信息，二是ASR转录过程可能引入错误，三是增加了额外的计算负担。

核心思路：WavRAG的核心思路是绕过ASR，直接利用原始音频进行检索和生成。通过构建一个能够同时处理文本和音频的统一知识表示，实现更高效、更准确的语音对话模型。

技术框架：WavRAG框架包含以下主要模块：1) 音频/文本编码器：将原始音频和文本信息编码为向量表示。2) 混合知识库：存储音频和文本的向量表示，构建统一的知识库。3) WavRetriever：用于从混合知识库中检索相关信息的模块，能够同时处理音频和文本查询。4) 语言模型：利用检索到的信息生成最终的对话回复。整体流程是：输入语音查询，通过音频编码器得到向量表示，WavRetriever从混合知识库中检索相关信息，最后由语言模型生成回复。

关键创新：WavRAG最重要的创新点在于其原生音频支持，即直接处理原始音频数据，无需依赖ASR。这与传统的RAG框架形成了本质区别，后者通常需要先将语音转换为文本，再进行后续处理。此外，WavRAG还创新性地构建了文本-音频混合知识库，实现了跨模态的知识检索。

关键设计：WavRetriever的设计是关键。具体实现细节未知，但可以推测其可能采用了对比学习等技术，使得音频和文本在向量空间中具有可比性。此外，思维链（Chain-of-Thought）推理的集成也增强了模型的上下文学习能力，但具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WavRAG在检索性能上与最先进的ASR-Text RAG流程相当，但计算速度提升了10倍。这一显著的加速效果主要归功于绕过了耗时的ASR过程。此外，WavRAG还展示了其独特的文本-音频混合检索能力，为RAG在音频模态的应用开辟了新的可能性。

🎯 应用场景

WavRAG可应用于智能客服、语音助手、会议记录摘要、多语言语音翻译等领域。通过直接处理音频，避免了ASR带来的误差和信息损失，提升了语音对话系统的准确性和效率。未来，该技术有望推动语音交互在更多场景下的应用，例如车载语音控制、智能家居等。

📄 摘要（原文）

Retrieval Augmented Generation (RAG) has gained widespread adoption owing to its capacity to empower large language models (LLMs) to integrate external knowledge. However, existing RAG frameworks are primarily designed for text-based LLMs and rely on Automatic Speech Recognition to process speech input, which discards crucial audio information, risks transcription errors, and increases computational overhead. Therefore, we introduce WavRAG, the first retrieval augmented generation framework with native, end-to-end audio support. WavRAG offers two key features: 1) Bypassing ASR, WavRAG directly processes raw audio for both embedding and retrieval. 2) WavRAG integrates audio and text into a unified knowledge representation. Specifically, we propose the WavRetriever to facilitate the retrieval from a text-audio hybrid knowledge base, and further enhance the in-context capabilities of spoken dialogue models through the integration of chain-of-thought reasoning. In comparison to state-of-the-art ASR-Text RAG pipelines, WavRAG achieves comparable retrieval performance while delivering a 10x acceleration. Furthermore, WavRAG's unique text-audio hybrid retrieval capability extends the boundaries of RAG to the audio modality.