Agentic Music Post-Production
作者: Jaywon Koo, Junghyun Koo, Marco A. Martinez-Ramirez, Wei-Hsiang Liao, Seungheon Doh, Qiyu Wu, Vicente Ordonez, Yuki Mitsufuji
分类: cs.SD, cs.AI
发布日期: 2026-10-21
💡 一句话要点
提出MixAgent以解决音乐后期制作中的混音质量问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音乐后期制作 混音质量 智能代理 多模态模型 音频效果 数据集构建 自动化修正
📋 核心要点
- 现有的音乐后期制作方法在混音质量和可编辑性方面存在不足，尤其是在自动化修正时常常导致效果下降。
- MixAgent通过模拟音频工程师的工作流程，利用分组代理和规划代理来构建可解释的混音计划，提升了混音的质量和可控性。
- 在实验中，MixAgent在MedleyDB上相较于初始混音减少了19%的错误，且在听觉测试中获得了比其他模型更高的质量评分。
📝 摘要（中文）
本文介绍了MixAgent，一个用于音乐后期制作的智能化流程，模拟音频工程师的工作流程，构建可解释和可编辑的混音计划。首先，分组代理将相关的输入轨道（如鼓录音）路由到子组。接着，规划代理利用检索到的示例选择和排序音频效果（如音量控制和混响），以应用于轨道、子组和整体混音。为了优化混音，检测器识别需要修正的部分，评论者则提出从轨道到整体混音的数值参数调整。实验表明，使用最新的多模态模型进行修正往往会导致混音质量下降，因此MixCritic数据集的构建成为关键。通过监督微调和偏好优化，MixAgent在MedleyDB上实现了19%的错误减少，偏好优化进一步提升了8.4%。
🔬 方法详解
问题定义：本文旨在解决音乐后期制作中混音质量不稳定和自动修正效果不佳的问题。现有方法在处理复杂音频效果时，往往无法提供满意的结果。
核心思路：MixAgent通过模拟音频工程师的工作流程，采用分组和规划代理来构建混音计划，并通过检测和评论机制进行质量优化，旨在提升混音的可解释性和可编辑性。
技术框架：MixAgent的整体架构包括分组代理、规划代理、检测器和评论者四个主要模块。分组代理负责将相关轨道分组，规划代理则选择和排序音频效果，检测器识别需要修正的部分，评论者提出参数调整建议。
关键创新：MixCritic数据集的构建是本研究的核心创新之一，包含45,657条修正评论，基于专业混音参数进行训练，显著提升了混音质量。与现有方法相比，MixAgent在处理复杂音频效果时表现出更高的稳定性和可控性。
关键设计：在模型训练中，采用了监督微调和偏好优化的策略，确保评论者能够根据渲染音频结果进行有效的参数调整。具体的损失函数和网络结构设计未在摘要中详细说明，需参考原文获取更多技术细节。
🖼️ 关键图片
📊 实验亮点
在实验中，MixAgent在MedleyDB数据集上实现了相较于初始混音减少19%的错误率，偏好优化进一步提升了8.4%。此外，MixAgent在听觉测试中获得的质量评分高于Qwen3-Omni、Gemini 3.8 Flash和GPT-4o-audio等对比模型，显示出其优越的混音能力。
🎯 应用场景
MixAgent的研究成果在音乐制作、电影配乐和游戏音效等领域具有广泛的应用潜力。通过提升混音质量和可编辑性，能够帮助音频工程师更高效地完成后期制作工作，降低人工干预的需求，进而推动音频制作的自动化进程。
📄 摘要（原文）
We introduce MixAgent, an agentic pipeline for music post-production that follows the workflow of audio engineers to build interpretable and editable mixing plans guided by a reference song. A grouping agent first routes related input tracks, such as drum recordings, into subgroups. A planning agent then uses retrieved examples to choose and order audio effects, such as volume control and reverb, for tracks, subgroups, and the full mix. To refine the mix, a detector identifies what needs correction, and a critic proposes numerical parameter adjustments from tracks to the full mix. In our experiments, prompting recent multimodal models to listen and revise often worsens the mix, making reliable correction a central challenge. We therefore build MixCritic, a dataset of 45,657 repair critiques derived from parameters fitted to professional mixes, and train the critic with supervised fine-tuning followed by preference optimization on rendered audio outcomes. On MedleyDB, learned refinement reduces error by 19% relative to the initial mix, with preference optimization reducing it by 8.4% over supervised training alone. Retrieved examples further improve effects selection, and a human listening test shows that MixAgent gets higher quality ratings than mixes produced by Qwen3-Omni, Gemini 3.8 Flash and GPT-4o-audio.