Synth-JEPA: Joint Embedding Prediction for Renderer-Free Synthesizer Parameter Search
作者: Ben Hayes, Haokun Tian, Stefan Lattner
分类: cs.SD, cs.LG, eess.AS
发布日期: 2026-09-25
💡 一句话要点
提出Synth-JEPA以解决合成器参数搜索中的渲染依赖问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 音频匹配 合成器参数 无渲染优化 互预测表示 深度学习
📋 核心要点
- 现有方法在音频匹配中面临优化困难，尤其是依赖于通用音频表示的目标难以实现有效搜索。
- Synth-JEPA通过学习音频与合成器参数的互预测表示，避免了对每个候选参数的渲染需求，提供了无渲染的优化目标。
- 实验结果显示，Synth-JEPA在多种数据集上超越了传统方法，且在听众偏好测试中表现优异，显示出其实际应用潜力。
📝 摘要（中文）
声音匹配可以被视为优化合成器参数以满足音频领域目标的过程。然而，基于通用音频表示的目标通常难以优化，而直接搜索则需要渲染每个候选参数。我们提出了Synth-JEPA，它通过配对的合成器数据学习音频和参数的互预测表示。在推理阶段，候选参数在这一学习空间中直接得分，从而产生一个无渲染的目标，其音频几何形状由参数对应关系而非通用音频相似性所决定。我们在Surge XT上评估了Synth-JEPA，使用保留的合成器声音和域外的NSynth及FSD50K目标，与逆模型、直接搜索和学习的代理目标进行比较。Synth-JEPA在域内超越所有基线，并在域外保持竞争力。其匹配质量随着额外的测试时间搜索而持续提高，允许计算与匹配质量之间的权衡。在配对听音测试中，听众在85%的试验中偏好Synth-JEPA。综合这些结果表明，具有参数诱导几何的音频表示使得合成器声音匹配可以作为一个有效的无渲染搜索问题来处理。
🔬 方法详解
问题定义：论文旨在解决合成器参数搜索中的渲染依赖问题。现有方法通常需要对每个候选参数进行渲染，导致计算成本高且优化困难。
核心思路：Synth-JEPA通过学习音频和合成器参数的互预测表示，形成一个无渲染的优化目标。该方法利用参数之间的对应关系来构建音频几何，从而提高匹配效率。
技术框架：整体架构包括数据预处理、互预测表示学习和推理阶段。首先，通过配对的合成器数据进行训练，学习音频和参数的嵌入表示；然后，在推理阶段直接在学习的空间中对候选参数进行评分。
关键创新：Synth-JEPA的主要创新在于其无渲染的目标优化方法，通过参数诱导的几何结构，使得音频匹配问题的处理方式与传统方法截然不同。
关键设计：在模型设计中，采用了特定的损失函数以优化音频和参数的相似性，并通过深度学习网络架构实现高效的表示学习。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Synth-JEPA在Surge XT上超越了所有基线方法，在域外数据集上也保持了竞争力。其匹配质量随着测试时间的增加而持续提升，且在配对听音测试中，85%的听众偏好Synth-JEPA，显示出其优越的音频匹配能力。
🎯 应用场景
该研究的潜在应用领域包括音乐制作、音频合成和声音设计等。Synth-JEPA能够显著提高合成器参数搜索的效率，降低计算成本，未来可能推动音频处理领域的进一步发展，尤其是在实时音频生成和交互式音频应用中。
📄 摘要（原文）
Sound matching can be formulated as optimizing synthesizer parameters against an audio-domain objective. However, objectives derived from generic audio representations are often difficult to optimize, while direct search requires rendering every candidate. We introduce Synth-JEPA, which learns mutually predictive audio and parameter representations from paired synthesizer data. At inference, candidate parameters are scored directly in this learned space, yielding a renderer-free objective whose audio geometry is shaped by parameter correspondences rather than generic audio similarity. We evaluate Synth-JEPA on Surge XT using held-out synthesizer sounds and out-of-domain NSynth and FSD50K targets, against inverse models, direct search, and learned proxy objectives. Synth-JEPA outperforms all baselines in-domain and remains competitive out-of-domain. Its matching quality continues to improve with additional test-time search, allowing compute to be traded for match quality. In pairwise listening tests, listeners preferred Synth-JEPA in 85% of trials overall. Together, these results show that an audio representation with a parameter-induced geometry allows synthesizer sound matching to be approached as an effective renderer-free search problem.