Learning Natural Conversational Behavior in Tandem Speech-to-Speech Models with Randomized Guidance

📄 arXiv: 2609.30773v1 📥 PDF

作者: Manato Yaguchi, Yotaro Kubo, Hikaru Asano, So Kuroki

分类: cs.CL, eess.AS

发布日期: 2026-09-25

备注: Submitted to ICASSP 2027. 5 pages, 1 figure, 2 tables

💡 一句话要点

提出随机化中间指导以提升双向语音模型的自然对话行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 双向语音模型 自然对话 随机化指导 语音前端 大型语言模型 数据准备 用户体验

📋 核心要点

  1. 现有的双向语音模型在处理用户发言时，无法有效利用后端提供的实时指导，导致对话自然性不足。
  2. 本文提出随机化中间指导的方法，通过直接从对话语料库中获取指导信息，减少了数据准备的复杂性。
  3. 实验结果显示，KAME模型在真实对话训练下，流畅性和自然性显著提升，响应质量优于现有基线方法。

📝 摘要（中文）

双向语音到语音架构将响应式语音前端与异步文本后端结合。在KAME中，大型语言模型作为后端，在用户发言时提供候选响应作为指导。然而，普通对话录音只捕捉最终响应，而未记录后端在用户发言期间提供的指导。通过使用模拟的LLM生成缺失的指导会增加数据准备的开销。本文提出随机化中间指导，直接从对话语料库中获取指导，而非模拟后端LLM行为。训练过程中，目标响应提供有用的指导，而随机抽样的响应则提供潜在无关的更新。这种组合旨在教会前端选择性地使用后端信息。在合成对话中，采用该方法训练的KAME在响应质量上与LLM生成的基线相当。对3.8k小时真实对话的训练提升了流畅的轮换和音频评估的自然性，同时在响应质量上优于Moshi。这些结果表明，随机化指导为结合双向模型的响应质量优势与真实语音学习的自然对话行为提供了实用途径。

🔬 方法详解

问题定义：本文旨在解决双向语音模型在用户发言期间无法有效利用后端实时指导的问题。现有方法依赖模拟生成指导，增加了数据准备的复杂性和开销。

核心思路：提出随机化中间指导的核心思路是直接从对话语料库中获取指导信息，而不是依赖模拟的后端LLM行为。通过结合目标响应和随机响应，训练前端选择性地使用后端信息。

技术框架：整体架构包括一个响应式语音前端和一个异步文本后端，前端在用户发言时接收来自后端的指导信息。训练过程中，前端根据目标响应和随机响应进行学习。

关键创新：最重要的技术创新在于随机化中间指导的引入，这一方法与传统的模拟指导方法本质上不同，能够有效降低数据准备的复杂性。

关键设计：在训练过程中，使用的损失函数考虑了目标响应的相关性，同时随机抽样的响应用于提供多样性。网络结构上，前端与后端的交互设计确保了信息的有效传递。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，采用随机化中间指导的KAME模型在合成对话中实现了与LLM生成的基线相当的响应质量。在真实对话训练下，流畅的轮换和自然性显著提升，响应质量优于Moshi，显示出该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能语音助手、自动翻译系统和人机交互等场景。通过提升对话的自然性和流畅性，能够显著改善用户体验，推动语音技术的广泛应用。未来，该方法可能会影响更多基于语音的交互系统的设计与实现。

📄 摘要（原文）

Tandem speech-to-speech architectures couple a responsive speech frontend with an asynchronous text backend. In KAME, a large language model (LLM) serves as the backend, supplying candidate responses as guidance to the speech frontend while the user is still speaking. Ordinary conversation recordings capture the eventual response but not the guidance the backend would supply during the user's utterance. Generating the missing guidance with a simulator LLM adds substantial data-preparation overhead when training on real conversations. We propose randomized intermediate guidance, which derives guidance directly from the conversation corpus rather than simulating backend LLM behavior. During training, target responses provide informative guidance, while randomly sampled responses provide potentially irrelevant updates during the utterance. This combination aims to teach the frontend to use backend information selectively. On synthetic dialogues, KAME trained with this recipe achieves response quality comparable to that of the LLM-generated and similarity-based baselines. Training on 3.8k hours of real conversations improves smooth turn-taking and audio-judge naturalness over synthetic-data KAME while retaining a response-quality advantage over Moshi. These results show that randomized guidance offers a practical route to combining the response-quality benefits of tandem models with natural conversational behavior learned from real speech.