Importance-Aware Low-Rank Distillation of Diffusion Transformers
作者: Denis Zavadski, Sebastian Heid, Damjan Kalšan, Stefan Roth, Carsten Rother
分类: cs.CV
发布日期: 2026-09-04
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出SVDtrunc以解决扩散变换器的参数压缩问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 扩散变换器 参数压缩 知识蒸馏 低秩近似 模型优化
📋 核心要点
- 现有的扩散变换器在参数压缩方面存在效率低下的问题，简单的低秩近似可能导致性能急剧下降。
- 论文提出的SVDtrunc方法通过两步块级压缩，结合模块化知识蒸馏，优化了参数分配和压缩过程。
- 实验结果表明，SVDtrunc在68%的参数预算下仍能保持接近满性能，且在57%时依然具有竞争力。
📝 摘要（中文）
扩散变换器（DiTs）已成为高质量文本到图像生成的主流架构，但其规模在高效部署上面临挑战。虽然截断奇异值分解（SVD）是一种合理的参数减少工具，但来自大型语言模型的证据表明，简单的低秩近似可能导致灾难性失败。相较之下，我们发现DiTs中的截断SVD在全球压缩下产生平滑的性能下降，冗余分布在整个网络的投影矩阵中，而不是集中在少数变换器块中。基于这些见解，我们提出了SVDtrunc，一种两步块级压缩方案，首先在全局参数预算下分配秩并压缩重要性较低的块，然后通过模块化知识蒸馏和修正流目标对所有块进行微调。我们在FLUX.dev上应用SVDtrunc，压缩水平范围为原参数数量的40-90%。在三个基准测试中，我们超越了所有竞争方法。
🔬 方法详解
问题定义：本论文旨在解决扩散变换器在高效部署时面临的参数压缩问题。现有方法如简单的低秩近似在大型模型中可能导致性能急剧下降。
核心思路：提出SVDtrunc，通过两步块级压缩，首先在全局参数预算下分配秩，压缩重要性较低的块，然后进行微调，以保持模型性能。
技术框架：整体流程包括两个主要阶段：第一阶段是基于重要性评估的块级秩分配和压缩，第二阶段是通过模块化知识蒸馏对所有块进行微调。
关键创新：SVDtrunc的核心创新在于其平滑的性能下降特性和冗余分布策略，与传统方法相比，能够在更高的压缩比下保持性能。
关键设计：在设计中，采用了截断SVD进行压缩，结合了模块化知识蒸馏和修正流目标作为损失函数，以确保微调后的模型性能最大化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SVDtrunc在68%的参数预算下保持接近满性能，57%时依然具有竞争力，超越了所有竞争方法，展示了在40-90%压缩水平下的优越表现。
🎯 应用场景
该研究的潜在应用领域包括大规模生成模型的高效部署，如文本到图像生成、视频生成等。通过优化参数压缩，SVDtrunc能够在资源受限的环境中实现高效的模型推理，具有重要的实际价值和未来影响。
📄 摘要（原文）
Diffusion Transformers (DiTs) have emerged as a dominant architecture for high-quality text-to-image generation, yet their scale poses challenges for efficient deployment. While truncated singular value decomposition (SVD) is a principled tool for parameter reduction, evidence from large language models (LLMs) suggests that naive low-rank approximation can cause catastrophic failure. In contrast, we find that truncated SVD in DiTs produces smooth degradation even under substantial global compression, with redundancy distributed across projection matrices throughout the whole network rather than concentrated in a few transformer blocks. Building on these insights, we introduce SVDtrunc, a two-step block-level compression scheme, first allocating ranks across blocks and compressing the least important ones via truncated SVD under a global parameter budget, and then fine-tuning all blocks with modular knowledge distillation and a rectified-flow objective. We apply SVDtrunc to FLUX.dev across compression levels ranging from 40-90% of the original parameter count. Across three benchmarks, GenEval, HPSv2, and DPG, we outperform all competing approaches. Notably, and in contrast to prior work, we retain near-full performance at 68% and remain competitive even at 57% of the original parameter budget. Furthermore, we show that SVDtrunc complements step distillation and achieves strong results even without fine-tuning, positioning it as a practical continuation of efficiency improvements beyond diffusion step reduction for large-scale generative models. Project page: https://vislearn.github.io/SVDtrunc/