AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis

📄 arXiv: 2607.15755 📥 PDF

作者: Zhenqi Jia, Yuan Zhao, Aruukhan, Rui Liu, Haizhou Li

分类: cs.SD, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出AuEmoChat以解决对话语音合成中的情感真实度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话语音合成 情感理解 多模态融合 自回归模型 情感标记学习

📋 核心要点

  1. 现有对话语音合成方法在渲染真实人类情感方面存在困难，主要由于情感标签空间的限制和多轮对话历史中的冗余信息。
  2. 本文提出AuEmoChat框架，通过AuEmoCodec学习离散的真实情感标记空间，并使用AuEmoToMe算法合并冗余标记，提升情感理解与渲染的准确性。
  3. 在NCSSD-EmCap数据集上的实验结果显示，AuEmoChat在情感语音合成的表现上显著优于现有最先进的基线方法。

📝 摘要（中文）

对话语音合成（CSS）旨在合成具有类人情感表达和上下文一致性的语音。然而，现有方法由于预定义情感标签空间有限（如七种情感类别），难以真实渲染人类情感，同时多轮对话历史中的冗余多模态标记干扰上下文理解。为了解决这些问题，本文提出了AuEmoChat，一个用于真实情感理解和渲染的CSS框架。我们开发了AuEmoCodec，通过有限标量量化从大规模情感语音中学习离散的真实情感标记空间，进而实现比基本情感类别更真实的情感表示。此外，我们提出了AuEmoToMe算法，合并多模态对话历史中的冗余标记，同时保留与情感相关的上下文。实验结果表明，AuEmoChat在NCSSD-EmCap数据集上优于现有的CSS基线，生成更具表现力和真实感的情感语音。

🔬 方法详解

问题定义：本文旨在解决对话语音合成中情感真实度不足的问题。现有方法通常依赖有限的情感标签，导致情感表达不够丰富，同时多轮对话中的冗余信息干扰上下文理解。

核心思路：AuEmoChat框架通过引入AuEmoCodec和AuEmoToMe算法，学习更丰富的情感标记空间，并有效合并冗余标记，从而提升情感的真实表达。

技术框架：AuEmoChat的整体架构包括三个主要模块：AuEmoCodec用于情感标记学习，AuEmoToMe用于冗余标记合并，以及一个自回归文本-语音模型用于生成目标情感标记和语音标记。

关键创新：最重要的创新在于AuEmoCodec的设计，它通过有限标量量化从大规模情感语音中学习离散的情感标记空间，超越了传统的情感类别限制。同时，AuEmoToMe算法有效地保留了情感相关的上下文信息。

关键设计：在模型设计中，采用了自回归结构来预测目标情感标记和语音标记，损失函数则结合了情感一致性和语音质量的评估，确保生成的语音在情感表达上更加真实和自然。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NCSSD-EmCap数据集上的实验结果表明，AuEmoChat在情感语音合成任务中显著优于现有的最先进基线，具体表现为情感表达的丰富性和真实度提升，生成的语音在用户评价中获得更高的满意度。

🎯 应用场景

AuEmoChat的研究成果在多个领域具有潜在应用价值，包括智能客服、虚拟助手和娱乐行业等。通过提升对话系统的情感表达能力，可以增强用户体验，使人机交互更加自然和人性化。未来，该技术可能推动情感计算和人机交互的进一步发展。

📄 摘要（原文）

Conversational Speech Synthesis (CSS) aims to synthesize speech with human-like emotional expression and contextual consistency in user-agent interactions. Existing CSS methods struggle to render authentic human emotions due to limited predefined emotion label spaces (e.g., seven emotion categories), while redundant multimodal tokens in multi-turn dialogue history interfere with context understanding. To address these issues, we propose AuEmoChat, a CSS framework for authentic emotion understanding and rendering. First, we develop AuEmoCodec, which learns a discrete authentic emotion token space from large-scale emotional speech via finite scalar quantization, enabling a more authentic emotion representation than limited basic emotion categories. We further propose AuEmoToMe, an authentic-emotion-guided token merging algorithm that merges redundant tokens in multimodal dialogue history while preserving emotion-relevant context. We integrate it into an autoregressive text-speech model to predict the target authentic emotion token and speech tokens. Finally, we propose Authentic Emotion Flow Matching, which renders speech by jointly conditioning on merged dialogue context, target authentic emotion, and acoustic priors. Extensive experiments on the NCSSD-EmCap dataset demonstrate that AuEmoChat outperforms state-of-the-art CSS baselines and generates more expressive and authentic emotional speech.