AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing

📄 arXiv: 2609.08936v1 📥 PDF

作者: Ziyang Ma, Zhikang Niu, Wenming Tu, Tianrui Wang, Ruiqi Yan, Junxi Liu, Yanru Huo, Nickk Huang, Yang Liu, Qicong Xie, Zeyu Xie, Hui Wang, Haitao Li, Zixuan Jiang, Yalin Li, Jie Fang, Yifan Duan, Zeyue Tian, Guangzheng Li, Haina Zhu, Shuyi Wang, Jinwen Wang, Mingyu Cui, Tian Tan, Auden, Sen Liang, Steve Yves, Shan Yang, Liefeng Bo, Zilong Zheng, Kai Yu, Eng-Siong Chng, Xie Chen

分类: cs.SD, cs.CL, cs.MM

发布日期: 2026-09-08

备注: Open-source at https://github.com/Tencent-Hunyuan/AuK

💡 一句话要点

提出AuK模型以统一语音生成与编辑任务

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音生成 语音编辑 多模态模型 开源技术 强化学习 变分自编码器 自然语言处理

📋 核心要点

  1. 现有的语音生成与编辑方法往往缺乏统一的接口，导致任务间的协同效率低下。
  2. AuK模型通过自然语言指令和音频上下文的统一接口，整合了语音生成与编辑功能，提升了任务的灵活性与效率。
  3. 实验结果表明，AuK在零-shot语音生成和指令引导编辑任务上表现领先，同时在信号级恢复任务中也保持竞争力。

📝 摘要（中文）

我们介绍了AuK，一个开源基础模型，通过自然语言指令和音频上下文的统一接口，实现语音生成与编辑的整合。为支持这一广泛能力，我们构建了约30.3亿个指令-音频实例和195万小时的有效监督，涵盖语音生成、内容编辑、增强与分离、旁语言编辑和声学编辑五个任务家族。AuK结合了用于语义条件的多模态大语言模型、联合训练的变分自编码器（VAE）以及混合整流流Transformer，进行双流MMDiT块和统一单流DiT块的生成。训练从仅生成的热身开始，随后进行联合生成-编辑的预训练，并应用人类反馈优化和基于奖励的强化学习进行后训练。最终，AuK-Flash在匹配条件下实现了4.5倍的推理速度提升，并在零-shot和指令控制的语音生成及一般指令引导的编辑任务中表现出色。

🔬 方法详解

问题定义：本论文旨在解决现有语音生成与编辑方法缺乏统一接口的问题，导致任务间协同效率低下，难以满足多样化的应用需求。

核心思路：AuK模型通过自然语言指令和音频上下文的统一接口，结合多模态大语言模型和变分自编码器（VAE），实现语音生成与编辑的整合，提升了模型的灵活性和适应性。

技术框架：整体架构包括多个主要模块：首先是多模态大语言模型用于语义条件，接着是联合训练的VAE进行声学条件，最后是混合整流流Transformer，执行双流MMDiT块和统一单流DiT块进行生成。训练过程分为生成热身和联合生成-编辑预训练两个阶段。

关键创新：AuK的核心创新在于其统一的自然语言指令接口和多模态训练策略，使得语音生成与编辑任务能够在同一框架下高效执行，显著提高了任务间的协同效率。

关键设计：模型采用了人类反馈优化和基于奖励的强化学习进行后训练，此外，通过一致性初始化和任务路由的解耦DMD进行模型蒸馏，降低了推理成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AuK-Flash在推理速度上实现了4.5倍的提升，且在零-shot语音生成和指令控制的编辑任务中表现出色，领先于现有基线，展示了其在实际应用中的强大能力。

🎯 应用场景

AuK模型在语音生成与编辑领域具有广泛的应用潜力，能够支持智能助手、语音合成、内容创作等多种场景。其开源特性也为研究人员提供了良好的基础，促进了相关技术的进一步发展与创新。

📄 摘要（原文）

We introduce AuK, an open-source foundational model that unifies speech generation and editing through a common interface of natural-language instructions and audio context. To support this broad capability set, we construct approximately 3.03 billion instruction--audio instances and 1.95 million hours of effective supervision across five task families: speech generation, content editing, enhancement and separation, paralinguistic editing, and acoustic editing. AuK combines a multimodal large language model for semantic conditioning, an VAE jointly trained on speech, general audio, and music for acoustic conditioning, and a hybrid rectified-flow Transformer that performs dual-stream MMDiT blocks followed by unified single-stream DiT blocks for generation. Training begins with generation-only warm-up and proceeds to joint generation--editing pre-training. We then apply complementary post-training strategies: human-feedback preference optimization for open-ended editing and reward-based reinforcement learning for speech generation. To reduce inference cost, we further distill the model with consistency initialization and task-routed Decoupled DMD. The resulting AuK-Flash performs 4-step inference without classifier-free guidance and achieves a 4.5 wall-clock speedup over the full model under matched conditions. Experiments demonstrate leading performance on zero-shot and instruction-controlled speech generation and general instruction-guided editing, while remaining competitive on signal-level restoration tasks. We release both the source code and model weights to support reproducibility and further research.