Weighting Schedules Govern What and When Score-Based Generative Models Learn from Multimodal Data
作者: Jérémie Klinger, Raphaël Urfin, Giulio Biroli, Marylou Gabrié
分类: cs.LG, cond-mat.dis-nn
发布日期: 2026-09-28
备注: Main text : 9 pages / 5 figures Supplemental : 21 pages / 1 figure
💡 一句话要点
提出加权调度以优化多模态数据的得分生成模型学习
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 得分生成模型 多模态学习 高维数据 信噪比 加权调度 特征学习 高斯混合模型
📋 核心要点
- 现有得分生成模型在多模态数据学习中面临特征学习速率不均衡的问题，尤其是在高维数据中。
- 本文提出通过分析加权调度与信噪比的关系，优化多模态分布的特征学习过程，确保各特征在适当时间被学习。
- 实验结果表明，模型在图像和人类基因组单倍型生成任务中，成功恢复了学习时间尺度的层次结构，验证了理论分析的有效性。
📝 摘要（中文）
得分生成模型通过将时间依赖的漂移与高斯噪声结合来生成新样本。本文分析了加权调度对多模态分布学习的影响，发现信噪比Λ(t)决定了特征学习的速率。在高信噪比下，模式方向同时被学习，而相对权重则未被学习。只有在接近物种化时间时，所有特征才能被学习，且各自的学习速率由其相对幅度决定。通过对不平衡和分层高斯混合模型的高维分析，提供了对加权调度设计的深入见解，并通过数值实验验证了学习时间尺度的层次结构。
🔬 方法详解
问题定义：本文旨在解决得分生成模型在多模态数据学习中，特征学习速率不均衡的问题，尤其是在高维数据情况下，现有方法未能有效捕捉特征间的相对权重。
核心思路：通过对加权调度与信噪比Λ(t)的深入分析，提出在接近物种化时间时，所有特征的学习速率将得到优化，确保特征的有效学习。
技术框架：整体方法包括对高维数据的训练动态进行高维分析，分解集成损失为单时间贡献，并在固定信噪比下进行分析，主要模块包括损失函数设计、网络结构及训练动态分析。
关键创新：最重要的技术创新在于揭示了信噪比Λ(t)如何影响多模态特征的学习速率，尤其是在物种化时间附近的学习动态，这一发现与现有方法的特征学习机制有本质区别。
关键设计：关键设计包括对加权调度w(t)的选择，损失函数的时间集成形式，以及网络结构的设计，使得模型能够在不同时间尺度上有效学习特征。具体的参数设置和网络结构细节在实验中进行了验证。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在图像和人类基因组单倍型生成任务中，模型成功恢复了学习时间尺度的层次结构，验证了理论分析的有效性，提升了生成样本的质量和多样性。
🎯 应用场景
该研究的潜在应用领域包括图像生成、基因组数据分析等多模态数据处理场景。通过优化特征学习过程，能够提升生成模型在复杂数据集上的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Score-based generative models generate new samples by integrating a time-dependent drift that carries Gaussian noise onto the target distribution. In practice this drift is modeled by a neural network, trained on a loss integrated over time $t$ with a weighting schedule $w(t)$. Along the backward dynamics, and for multi-modal distributions, trajectories commit to modes of the target within a narrow time window, the \textit{speciation time}. In this work, focusing on high-dimensional data, we decompose the integrated loss into its single-time contributions and analyze each at fixed signal-to-noise ratio $Λ(t)$: we show that $Λ(t)$ sets the rate at which each feature of a multimodal target - the mode directions and their relative weights - is acquired during training. Crucially, at high $Λ(t)$ all mode directions are acquired together, on a single timescale insensitive to their amplitudes, while the relative weights are not learned at all. Only near the speciation time, where $Λ(t)$ becomes of order one, do all features become learnable, each on its own timescale: the weights are acquired jointly with the directions, and the directions at rates set by their relative amplitudes. For models trained on time-integrated objectives, the learning dynamics is then governed by how much of the weighting effectively sits near the speciation time, which provides insights on $w(t)$ design choices. These results follow from an exact high-dimensional analysis of the training dynamics of unbalanced and hierarchical Gaussian mixtures. Numerical experiments on image and human genome haplotype generation recover the predicted hierarchy of learning timescales in more complex settings.