Salt++: Context-Aligned Post-Training for Few-Step Streaming Multimodal Generation
作者: Xingtong Ge, Yutong Wang, Lunjie Zhu, Haitao Lin, Fangyu Lin, Yushi Huang, Xin Zhang, Yi Zhang, Yu Liu, Jun Zhang
分类: cs.CV, cs.AI, eess.IV
发布日期: 2026-09-29
备注: under review
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Salt++以解决少步流媒体多模态生成中的上下文对齐问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 流媒体生成 多模态生成 因果建模 上下文对齐 蒸馏训练 音视频融合 自监督学习
📋 核心要点
- 现有的少步流媒体多模态生成方法在上下文对齐方面存在挑战，导致生成质量不佳。
- Salt++通过因果自流和上下文对齐自回归DMD两阶段后训练框架，解决了上下文不匹配的问题。
- 在480p分辨率下，Salt++在JavisBench上相较于基线方法OmniForcing，视觉和运动质量分别提升了57%和45%。
📝 摘要（中文）
少步流媒体音视频生成需要因果建模和步骤蒸馏，但现有训练方法面临上下文相关的挑战。教师强迫法将干净历史与噪声目标配对，但仅通过速度预测间接监督预测上下文表示。同时，在因果分布匹配蒸馏中直接重用双向评分模型会导致生成和评分上下文之间的不匹配。为了解决这些问题，本文提出了Salt++，一个包含因果自流（CSF）和上下文对齐自回归DMD的两阶段后训练框架。实验表明，Salt++在480p下在JavisBench上相较于OmniForcing在相同的4步因果设置下，视觉和运动质量分别提高了57%和45%。
🔬 方法详解
问题定义：论文旨在解决少步流媒体音视频生成中的上下文对齐问题。现有方法如教师强迫法和因果分布匹配蒸馏在处理上下文时存在不匹配，导致生成效果不理想。
核心思路：Salt++的核心思路是通过因果自流（CSF）和上下文对齐自回归DMD来改善生成过程中的上下文一致性。CSF通过固定噪声目标而变化历史信息，增强学生模型的语义信息提取能力。
技术框架：Salt++的整体架构分为两个主要阶段：首先是因果自流阶段，学生模型与教师模型进行自监督对齐；其次是上下文对齐自回归DMD阶段，确保生成和参考分布的一致性。
关键创新：Salt++的主要创新在于引入了因果自流和上下文对齐的自回归DMD，解决了传统方法中上下文不匹配的问题，显著提升了生成质量。
关键设计：在设计中，Salt++使用了噪声混合历史的学生模型与干净历史的教师模型进行对齐，并在生成、假评分训练和真实评分评估中共享因果掩码和前缀，确保了生成过程的连贯性。具体损失函数和网络结构的设计细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Salt++在480p分辨率下，相较于基线方法OmniForcing，视觉质量提升了57%，运动质量提升了45%。此外，Salt++在扩展到4步$1664 imes960$生成时，超越了双向LTX-2在七个报告指标中的六个，展示了其卓越的性能。
🎯 应用场景
该研究的潜在应用领域包括音视频内容生成、虚拟现实和增强现实等多模态交互系统。通过提升生成质量，Salt++能够为多媒体创作、游戏开发和在线教育等行业带来更高的用户体验和互动性，未来可能推动相关技术的广泛应用。
📄 摘要（原文）
Few-step streaming audio--video generation requires both causal modeling and step distillation, yet standard training recipes face two context-related challenges. Teacher forcing pairs clean history with a noisy target, but supervises predictive contextual representations only indirectly through velocity prediction. Meanwhile, directly reusing bidirectional score models in causal Distribution Matching Distillation (DMD) creates a mismatch between generation and scoring contexts. We address these challenges with Salt++, a two-stage post-training framework comprising Causal Self-Flow (CSF) and context-aligned autoregressive DMD. CSF exploits contextual information asymmetry by varying the history while keeping the noisy target fixed: a noise-mixed-history student aligns its intermediate representations with those of a clean-history exponential-moving-average teacher. This self-supervised signal encourages the student to extract semantic information and improves cross-modal alignment. Context-aligned AR DMD shares the causal mask and prefix across generator sampling, fake-score training, and real-score evaluation to match generated and reference distributions under a block-conditional KL objective. With calibrated teacher guidance, it performs clean-prefix few-step distillation and then adapts to generated histories without switching objectives or requiring separate consistency distillation. At 480p, Salt++ improves visual and motion quality by 57% and 45% over OmniForcing on JavisBench under the same 4-step causal setting. A separate scale-wise post-training stage extends Salt++ to 4-step $1664\times960$ generation, outperforming bidirectional LTX-2 on six of seven reported metrics. Project page: https://xingtongge.github.io/Saltpp