SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model
作者: Aviad Dahan, Rajaei Khatib, Yonatan Bitton, Idan Szpektor, Lior Wolf, Raja Giryes
分类: cs.SD, cs.CV
发布日期: 2026-10-08
备注: 24 pages, 8 figures, 18 tables. Project page: https://sepgen.github.io/
💡 一句话要点
提出SepGen以解决音视频分离与生成问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音视频生成 声源分离 多模态学习 深度学习 生成模型
📋 核心要点
- 现有的音视频生成模型无法单独访问声源，导致在音频混合中缺乏灵活性和可控性。
- SepGen通过扩展预训练的音视频生成器，实现了在一次采样中同时生成视频、混合音轨和独立声源波形。
- 实验结果显示，SepGen在语音分离任务中表现优异，尤其在处理真实录音时，超越了大多数现有方法。
📝 摘要（中文）
4D音视频场景包括视频、动态几何形状和声源，每个声源都有独立的位置和轨迹。为了从新视角渲染此场景，必须将每个声源作为单独的波形进行处理。现有的音视频生成器只能合成视频和混合音轨，无法单独访问声源。本文提出的SepGen扩展了预训练的音视频生成器，能够在一次联合采样中输出视频、混合音轨以及每个标注声源的波形。SepGen支持生成和分离两种模式，能够根据输入的音频混合和标注提取特定声源。实验表明，SepGen在语音分离任务中优于现有的语言条件分离器，尤其在去除标注中的语音内容时仍保持优势。
🔬 方法详解
问题定义：本文旨在解决音视频场景中声源的分离与生成问题。现有方法通常只能生成混合音轨，无法提供单独声源的访问，限制了应用的灵活性和效果。
核心思路：SepGen的核心思路是通过扩展音视频生成器，使其能够在一次采样中同时生成视频、混合音轨和每个标注声源的波形。这种设计允许用户在生成和分离模式之间切换，满足不同的应用需求。
技术框架：SepGen的整体架构包括两个主要模块：生成模块和分离模块。在生成模式下，模型根据每个声源的标注生成相应的音频波形；在分离模式下，模型从输入的音频混合中提取指定的声源。
关键创新：SepGen的最大创新在于其能够在单次采样中同时处理音视频生成与声源分离，突破了传统模型的局限性，提供了更高的灵活性和可控性。
关键设计：在模型设计中，SepGen采用了特定的损失函数来优化音频和视频的同步性，并使用了预训练的生成网络以提高生成质量和效率。
🖼️ 关键图片
📊 实验亮点
在实验中，SepGen在语音分离任务中表现优异，相较于语言条件分离器，尤其在去除标注中的语音内容时仍保持领先。具体性能数据表明，SepGen在处理真实录音时的分离效果显著优于现有方法，提升幅度明显。
🎯 应用场景
SepGen的潜在应用领域包括影视制作、游戏开发和虚拟现实等场景。在这些领域中，能够独立控制声源的生成和分离将极大提升音频处理的灵活性和效果，推动多模态内容创作的进步。
📄 摘要（原文）
A 4D audio-visual scene comprises a video, the dynamic geometry it depicts, and the sound sources that populate it, each with its own position and trajectory. Rendering such a scene from a novel viewpoint requires that every source be available as an individual waveform, so that it can be localized in the scene and propagated to the observer before the signals are mixed. Joint audio-video generators can synthesize the video and its soundtrack, but the soundtrack is emitted as a single audio-mix in which the sources are not individually accessible. We present SepGen, which extends a pretrained audio-video generator to emit the video, the mixed soundtrack, and one waveform per captioned source in one joint sampling run. SepGen supports two complementary modes: generation and separation. In generation mode, each source caption specifies what its stem contains. A two-speaker dialogue, for example, comes out as one stem per speaker in the original turn order. In separation mode, the input audio-mix remains clean while the captions specify what to extract, so the model can decompose a recording from a free-text description. We evaluate generation on scenes synthesized from text, and separation on scenes rendered by other generators and on real recordings of speech, music, and sound effects. Given an audio-mix and captions that carry the spoken lines, SepGen outperforms language-conditioned separators, most clearly on speech, and it keeps the lead when the lines are removed from the captions. Code, checkpoints, and datasets are available at https://sepgen.github.io/