Fish Audio Drama 3 Technical Report
作者: Dawei Han, Shidong Li, Shijia Liao, Jiahua Liu, Songting Liu, Qingzheng Wang, Yuxuan Wang, Xin Chen, Yifan Cheng, Tianyu Li, Gangin Park, Xuehao Yang, Chang Zeng, Haoyang Zhang, Ruoyi Zhang, Xiangyu Zhang
分类: cs.SD, cs.CL
发布日期: 2026-10-13
🔗 代码/项目: GITHUB | GITHUB | HUGGINGFACE
💡 一句话要点
提出Fish Audio Drama 3以实现高效的文本转语音表演
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语音生成 混合专家 自然语言处理 多角色配音 音频解码
📋 核心要点
- 现有的语音生成模型在多角色场景和自然语言指令的处理上存在局限，难以实现高质量的定向表演。
- Fish Audio Drama 3提出了一种基于混合专家架构的语音生成模型，能够高效处理多种任务，如声音克隆和场景配音。
- 实验结果显示，Drama 3在推理速度上达到了271帧每秒，显著优于之前的模型，且在参数量上更具优势。
📝 摘要（中文）
我们介绍了Fish Audio Drama 3，这是一个开源的语音生成模型，能够将文本转化为定向表演。该模型基于一个35B参数的混合专家架构，每个token激活3B参数。它能够克隆多种参考声音，遵循自然语言指令，并在后续回合中进行修订，支持多角色场景配音、通过填充编辑现有语音，以及合成长格式和流式音频。Drama 3在一个模型中集成了多轮修订、场景配音、填充编辑和流式文本输入等新功能。该模型结合了混合线性注意力骨干网和新的代码本多token预测音频解码器，能够在专用层中预测每帧的声学代码本。模型通过三阶段预训练、指令微调和大批量强化学习进行训练，其唯一奖励是一个学习到的人类偏好的模型。其推理引擎在一台H200上以271帧每秒解码单一流，而Fish Audio S2为177帧，尽管Drama 3的参数量超过七倍。模型权重可在GitHub和Hugging Face上获取，推理可通过SGLang-Omni实现。
🔬 方法详解
问题定义：本论文旨在解决现有语音生成模型在多角色场景、自然语言指令处理及语音编辑等方面的不足，尤其是在生成高质量定向表演时的挑战。
核心思路：论文提出的核心思路是利用混合专家架构，激活部分参数以提高模型的效率和灵活性，同时集成多种功能于一个模型中，以满足复杂的语音生成需求。
技术框架：整体架构包括混合线性注意力骨干网和新的代码本多token预测音频解码器，模型通过三阶段预训练、指令微调和大批量强化学习进行训练，确保生成的语音符合人类偏好。
关键创新：最重要的技术创新在于将多轮修订、场景配音、填充编辑和流式文本输入集成到一个模型中，显著提升了语音生成的灵活性和效率。
关键设计：模型设计中采用了35B参数的混合专家架构，每个token激活3B参数，推理引擎优化至271帧每秒，且通过专用层预测声学代码本，提升了生成质量和速度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Fish Audio Drama 3在推理速度上达到了271帧每秒，相较于之前的Fish Audio S2提升了53%，同时模型参数量超过七倍，展现了更强的生成能力和效率。
🎯 应用场景
Fish Audio Drama 3的潜在应用场景包括影视配音、游戏角色语音生成以及教育领域的互动学习工具。其高效的语音生成能力能够为创作者提供更灵活的表现形式，提升用户体验。未来，该技术可能在虚拟现实和增强现实等新兴领域中发挥重要作用。
📄 摘要（原文）
We introduce Fish Audio Drama 3, an open-source speech generation model that turns text into directed performances, built on a 35B-parameter mixture-of-experts backbone that activates 3B parameters per token. It clones voices from multiple references, follows natural-language direction, revises a take when the next turn gives a note, voices multi-character scenes, edits existing speech by infilling, and synthesizes long-form and streaming audio. Multi-turn revision, scene dubbing, editing by infilling, and streaming text input are new in Drama 3, all in one model. Drama 3 pairs the hybrid linear-attention backbone with a new codebook multi-token-prediction audio decoder that predicts the acoustic codebooks of each frame in dedicated layers that attend over the entire sequence. The model is trained with a three-stage pre-training recipe, instruction fine-tuning, and large-batch reinforcement learning whose only reward is a single learned model of human preference. Its inference engine decodes a single stream at 271 frames per second on one H200, against 177 for Fish Audio S2, although Drama 3 has more than seven times as many parameters. The model weights are available on GitHub (https://github.com/fishaudio/fish-speech) and Hugging Face (https://huggingface.co/fishaudio/drama-3), and inference is available through SGLang-Omni (https://github.com/sgl-project/sglang-omni). We highly encourage readers to visit https://fish.audio to direct their own performances.