Multilingual and Continuous Backchannel Prediction: A Cross-lingual Study
作者: Koji Inoue, Mikey Elmers, Yahui Fu, Zi Haur Pang, Taiga Mori, Divesh Lala, Keiko Ochi, Tatsuya Kawahara
分类: cs.CL, cs.HC, cs.SD
发布日期: 2025-12-16
备注: This paper has been accepted for presentation at International Workshop on Spoken Dialogue Systems Technology 2026 (IWSDS 2026) and represents the author's version of the work
💡 一句话要点
提出一种多语种连续后通道预测模型，用于研究跨语言的交互时序行为。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 后通道预测 多语种模型 Transformer 跨语言研究 口语对话系统
📋 核心要点
- 现有后通道预测模型缺乏跨语言泛化能力，难以捕捉不同语言的交互时序差异。
- 提出基于Transformer的多语种连续后通道预测模型，联合训练学习通用和特定语言的线索。
- 实验表明，该模型在三种语言上表现优异，并揭示了不同语言在后通道预测中线索使用的差异。
📝 摘要（中文）
本文提出了一种用于日语、英语和中文的多语种连续后通道预测模型，并利用它来研究跨语言的时序行为。该模型基于Transformer架构，在帧级别上运行，并使用大约300小时的二元对话数据进行联合训练，同时包含辅助任务。在所有三种语言中，多语种模型都达到或超过了单语基线，表明它既学习了语言通用的线索，也学习了特定于语言的时序模式。双语训练的零样本迁移效果有限，突出了跨语言的实质性差异。扰动分析揭示了不同的线索使用方式：日语更依赖于短期语言信息，而英语和中文对沉默时长和韵律变化更敏感；多语种训练鼓励共享但可适应的表征，并减少了中文对音高的过度依赖。上下文长度研究进一步表明，日语相对更能适应较短的上下文，而中文则明显受益于较长的上下文。最后，我们将训练好的模型集成到实时处理软件中，展示了仅使用CPU的推理能力。总之，这些发现提供了一个统一的模型和经验证据，证明了后通道时序在不同语言之间的差异，从而为设计更自然、更具文化意识的口语对话系统提供了信息。
🔬 方法详解
问题定义：论文旨在解决跨语言后通道预测的问题。现有的后通道预测模型通常是单语的，无法直接应用于其他语言，并且难以捕捉不同语言之间细微的时序差异和线索使用偏好。因此，需要一个能够处理多种语言，并能学习语言通用和特定线索的后通道预测模型。
核心思路：论文的核心思路是利用Transformer架构构建一个多语种的后通道预测模型，通过联合训练的方式，让模型能够同时学习多种语言的后通道预测规律。这种方法能够使模型在学习语言通用特征的同时，也能捕捉到特定语言的细微差异。通过辅助任务的引入，可以进一步提升模型的性能和泛化能力。
技术框架：该模型基于Transformer架构，输入为语音帧级别的特征，输出为连续的后通道预测概率。整体框架包含以下几个主要模块： 1. 特征提取模块：提取语音的声学特征，例如梅尔频率倒谱系数（MFCCs）等。 2. Transformer编码器：对提取的特征进行编码，学习语音的上下文信息。 3. 后通道预测模块：根据编码后的特征，预测后通道发生的概率。 4. 辅助任务模块：引入辅助任务，例如语音识别或说话人识别，以提升模型的性能。 整个流程是端到端的，模型可以直接从语音特征预测后通道概率。
关键创新：该论文的关键创新在于： 1. 多语种建模：提出了一个能够同时处理多种语言的后通道预测模型，打破了传统单语模型的局限性。 2. 连续预测：模型输出的是连续的后通道概率，而不是离散的后通道事件，更加符合实际情况。 3. 跨语言分析：通过对模型的分析，揭示了不同语言在后通道预测中线索使用的差异。
关键设计： 1. Transformer架构：采用Transformer作为核心架构，能够有效地捕捉语音的上下文信息。 2. 辅助任务：引入辅助任务，例如语音识别或说话人识别，以提升模型的性能。 3. 损失函数：使用交叉熵损失函数来训练后通道预测模块，并根据辅助任务的类型选择合适的损失函数。 4. 数据增强：使用数据增强技术，例如语速扰动或音量扰动，以提升模型的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，多语种模型在日语、英语和中文三种语言上均达到或超过了单语基线模型。扰动分析揭示了不同语言在后通道预测中线索使用的差异：日语更依赖于短期语言信息，而英语和中文对沉默时长和韵律变化更敏感。上下文长度研究表明，中文受益于更长的上下文。
🎯 应用场景
该研究成果可应用于构建更自然、更具文化意识的口语对话系统。例如，在跨文化交流场景中，系统可以根据用户的语言和文化背景，调整后通道的预测和响应策略，从而提升用户体验。此外，该模型还可以用于分析不同语言的交互模式，为语言学研究提供新的视角。
📄 摘要（原文）
We present a multilingual, continuous backchannel prediction model for Japanese, English, and Chinese, and use it to investigate cross-linguistic timing behavior. The model is Transformer-based and operates at the frame level, jointly trained with auxiliary tasks on approximately 300 hours of dyadic conversations. Across all three languages, the multilingual model matches or surpasses monolingual baselines, indicating that it learns both language-universal cues and language-specific timing patterns. Zero-shot transfer with two-language training remains limited, underscoring substantive cross-lingual differences. Perturbation analyses reveal distinct cue usage: Japanese relies more on short-term linguistic information, whereas English and Chinese are more sensitive to silence duration and prosodic variation; multilingual training encourages shared yet adaptable representations and reduces overreliance on pitch in Chinese. A context-length study further shows that Japanese is relatively robust to shorter contexts, while Chinese benefits markedly from longer contexts. Finally, we integrate the trained model into a real-time processing software, demonstrating CPU-only inference. Together, these findings provide a unified model and empirical evidence for how backchannel timing differs across languages, informing the design of more natural, culturally-aware spoken dialogue systems.