Enhancing Speech-to-Speech Dialogue Modeling with End-to-End Retrieval-Augmented Generation

📄 arXiv: 2505.00028v2 📥 PDF

作者: Pengchao Feng, Ziyang Ma, Wenxi Chen, Yao Li, Sheng Wang, Kai Yu, Xie Chen

分类: cs.CL, cs.AI, cs.IR

发布日期: 2025-04-27 (更新: 2025-11-11)

备注: Accepted to EMNLP 2025 Findings

期刊: Findings of the Association for Computational Linguistics: EMNLP 2025, pages 4499-4507

💡 一句话要点

提出端到端检索增强生成框架，提升语音到语音对话模型性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音对话系统 端到端模型 检索增强生成 知识融合 语音文本模态 语音检索 对话生成

📋 核心要点

  1. 端到端语音对话系统在知识融合方面存在挑战，模态差异阻碍了语音输入与文本知识的有效整合。
  2. 提出一种端到端检索增强生成框架，直接从语音查询中检索相关文本知识，弥合模态差距。
  3. 实验表明，该方法显著提升了端到端语音对话系统的性能和检索效率，为知识融合提供新方向。

📝 摘要（中文）

端到端语音到语音（S2S）对话系统因其低延迟和更自然地整合情感、说话人身份等非语言线索而受到越来越多的研究关注。然而，这些系统面临着关键挑战，尤其是在整合外部知识方面，而这通常由基于文本的大型语言模型（LLM）中的检索增强生成（RAG）来解决。核心困难在于输入语音和检索到的文本知识之间的模态差距，这阻碍了信息的有效整合。为了解决这个问题，我们提出了一种新颖的端到端RAG框架，该框架直接从语音查询中检索相关的文本知识。实验结果表明，我们的方法显著提高了端到端S2S对话系统的性能，同时实现了更高的检索效率。虽然总体性能仍然落后于SOTA级联模型，但我们的框架为增强端到端S2S系统中的知识整合提供了一个有希望的方向。我们的代码和数据集已发布。

🔬 方法详解

问题定义：端到端语音到语音（S2S）对话系统难以有效整合外部知识。现有方法，如级联模型，虽然性能较好，但存在延迟高、非语言信息整合不自然等问题。直接应用文本领域的检索增强生成（RAG）方法到S2S系统面临模态差异的挑战，即语音输入与文本知识之间的鸿沟，导致检索到的知识难以有效利用。

核心思路：核心在于弥合语音和文本之间的模态差距，实现从语音查询直接检索文本知识。通过设计合适的模型结构和训练策略，使得模型能够理解语音输入，并将其转化为可用于检索文本知识的查询表示。这样，模型就可以直接利用检索到的文本知识来生成更丰富、更准确的语音回复。

技术框架：该框架包含以下主要模块：1) 语音编码器：将输入语音转换为高维特征表示。2) 查询生成器：基于语音特征生成用于检索的文本查询。3) 知识库：存储大量的文本知识。4) 检索器：根据查询从知识库中检索相关文本。5) 知识融合模块：将检索到的文本知识与语音特征融合。6) 语音解码器：生成最终的语音回复。整体流程是从语音输入开始，经过编码、查询生成、检索、知识融合，最终生成语音回复。

关键创新：最关键的创新在于直接从语音查询中检索文本知识，避免了中间的文本转换步骤，从而更有效地利用了语音中的信息。此外，该框架是端到端的，可以进行联合优化，从而更好地适应S2S对话的任务需求。

关键设计：具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述。例如，查询生成器可以使用Transformer结构，检索器可以使用基于向量相似度的检索方法，知识融合模块可以使用注意力机制等。损失函数通常包括生成损失和检索损失，用于优化生成和检索的性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，该方法显著提高了端到端S2S对话系统的性能，同时实现了更高的检索效率。虽然总体性能仍然落后于SOTA级联模型，但该框架为增强端到端S2S系统中的知识整合提供了一个有希望的方向。具体性能数据和对比基线在论文中进行了详细展示。

🎯 应用场景

该研究成果可应用于智能客服、语音助手、会议记录等领域，提升人机交互的自然性和智能化水平。通过整合外部知识，可以使对话系统具备更强的知识问答能力，从而提供更准确、更全面的服务。未来，该技术有望应用于更广泛的语音交互场景，例如教育、医疗等。

📄 摘要（原文）

End-to-end speech-to-speech (S2S) dialogue systems have recently garnered increasing research attention for their lower latency and more natural integration of nonverbal cues such as emotion and speaker identity. However, these systems face key challenges, particularly in incorporating external knowledge, a capability commonly addressed by Retrieval-Augmented Generation (RAG) in text-based large language models (LLMs). The core difficulty lies in the modality gap between input speech and retrieved textual knowledge, which hinders effective integration of information. To address this issue, we propose a novel end-to-end RAG framework that directly retrieves relevant textual knowledge from speech queries. Experimental results demonstrate that our method significantly improves the performance of end-to-end S2S dialogue systems while achieving higher retrieval efficiency. Although the overall performance still lags behind the SOTA cascaded models, our framework offers a promising direction for enhancing knowledge integration in end-to-end S2S systems. Our code and dataset are released.