Multi-Dimensional Prosody Judgment For Live Streaming Speech Synthesis
作者: Zifan Guan, Longyu Lu, Junan Zhang, Zhizheng Wu, Meiguang Jin, Junfeng Ma
分类: cs.SD, cs.AI
发布日期: 2026-09-17
💡 一句话要点
提出Live-ProsodyJudge以解决传统TTS评估不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 实时语音合成 韵律评估 去耦合设计 蒸馏技术 多维度评估
📋 核心要点
- 现有的TTS评估方法无法有效捕捉细致的韵律特征，导致评估结果不准确。
- 提出了Live-ProsodyJudge（LPJ）和去耦合的Live-ProsodyJudge（D-LPJ），以提高评估的细致性和独立性。
- 实验结果显示，LPJ在准确性上优于单次Gemini调用，且D-LPJ成功实现了独立的维度判断。
📝 摘要（中文）
评估实时语音合成（TTS）需要细致且富有表现力的韵律特征，如情感、语调和能量，而传统的均值意见分数（MOS）预测器无法捕捉这些特征。虽然像Gemini这样的专有大型语言模型（LLMs）可以评估这些方面，但其成本过高，无法进行大规模推理和强化学习反馈。为此，本文首先提出了从Gemini蒸馏到Qwen3-Omni的成本效益高的成对评估器Live-ProsodyJudge（LPJ）。然而，我们发现标准多维评估存在一个关键缺陷：判决耦合。为了解决这个问题，我们进一步提出了去耦合的Live-ProsodyJudge（D-LPJ），通过消除整体判决目标来防止盲目跟随，并在监督微调期间掩蔽不确定的配对维度，引入了一种新的跨度局部GRPO策略，将归一化优势严格应用于其对应的推理跨度。经过高度策划的人类标注测试集评估，10个样本平衡顺序的LPJ在准确性上超过了单次Gemini调用，而D-LPJ成功产生独立的去耦维度判断。
🔬 方法详解
问题定义：论文要解决的问题是如何有效评估实时语音合成（TTS）中的细致韵律特征。现有方法如MOS无法捕捉情感、语调和能量等多维度特征，导致评估结果的局限性。
核心思路：论文的核心解决思路是通过引入Live-ProsodyJudge（LPJ）和去耦合的Live-ProsodyJudge（D-LPJ），以实现更为细致和独立的评估。LPJ通过蒸馏技术降低成本，而D-LPJ则通过去耦合设计避免了评估结果的盲目一致性。
技术框架：整体架构包括两个主要模块：LPJ和D-LPJ。LPJ作为初步评估器，负责生成初步的韵律评分；D-LPJ则在此基础上进行进一步的去耦合评估，确保各个维度的独立性。
关键创新：最重要的技术创新点在于D-LPJ的去耦合设计，消除了整体判决目标，避免了评估维度之间的相互影响。这一设计使得每个维度的评估更加准确和独立。
关键设计：在D-LPJ中，采用了掩蔽不确定配对维度的策略，并引入了新的跨度局部GRPO策略，确保归一化优势严格应用于相应的推理跨度。这些设计使得模型在评估时能够更加专注于每个维度的特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，10个样本平衡顺序的LPJ在准确性上超过了单次Gemini调用，而D-LPJ成功实现了独立的去耦维度判断。在最佳的8个TTS候选选择比赛中，LPJ选择的语句在85.29%的高置信度情况下位于人类评审的前3名之内，显示出其在细致TTS偏好优化方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括实时语音合成、虚拟助手和在线教育等场景。通过提高TTS的评估精度，能够显著提升用户体验，促进更自然的语音交互。此外，未来可能在多模态交互和情感计算等领域产生深远影响。
📄 摘要（原文）
Evaluating live streaming speech synthesis (TTS) requires assessing fine-grained, highly expressive prosody such as emotion, intonation, and energy which traditional MOS predictors fail to capture. While proprietary Large Language Models (LLMs) like Gemini can evaluate these aspects, they are too costly for massive inference and reinforcement learning feedback. To address this, we first introduce Live-ProsodyJudge (LPJ), a cost-effective pairwise evaluator distilled from Gemini into Qwen3-Omni. However, we identify a critical flaw in standard multi-dimensional evaluation: verdict coupling. The judge tends to lazily align all individual dimension scores with its overall preference, collapsing a rich multi-dimensional rubric into a single preference bit. To resolve this, we further propose Decoupled-Live-ProsodyJudge (D-LPJ). D-LPJ eliminates the overall verdict target to prevent blind following, masks uncertain pair-dimensions during Supervised Fine-Tuning(SFT), and introduces a novel span-local GRPO strategy that applies normalized advantages strictly to their corresponding rationale spans. Evaluated on highly curated human-annotated test sets, 10 sample balanced-order LPJ achieves higher point accuracy than a single Gemini call, while D-LPJ successfully produces independent,decoupled dimension judgments. Furthermore, in a Best-of-8 TTS candidate selection tournament, the LPJ-selected utterance falls within the human top-3 in 85.29% of high-confidence cases, demonstrating its efficacy for fine-grained TTS preference optimization.