DIET: Deletion-response Expert Trimming for Video Diffusion Transformers

📄 arXiv: 2609.37829v1 📥 PDF

作者: Jiachang Zhang, Teng Hu, Bohao Feng, Songhang Shen, Wenqiang Wang, Hongqian Deng, Ran Yi

分类: cs.AI

发布日期: 2026-09-29

💡 一句话要点

提出DIET以解决视频扩散变换器专家修剪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频扩散变换器 专家混合 模型修剪 删除响应 多样性损失 计算效率 深度学习 视频理解

📋 核心要点

  1. 现有的专家修剪方法依赖静态统计，无法适应动态变化，导致计算效率低下。
  2. DIET通过删除响应进行专家修剪，利用缓存张量重放候选删除，避免额外的前向传递。
  3. 在LingBot-Video 30B-A3B上，DIET成功将模型大小减少近47%，并在固定的VBench协议下显著提升性能。

📝 摘要（中文）

视频扩散变换器（DiTs）越来越多地采用专家混合（MoE）架构以减少计算负担，但完全存储专家的成本依然高昂。现有的一次性修剪标准主要依赖静态激活或路由统计，无法捕捉到专家删除后的层级重路由。本文提出DIET，一种基于删除响应的无训练专家修剪框架。通过单次全专家校准，记录专家输出和路由器状态，DIET能够在不增加模型前向传递的情况下重放候选删除。最终，DIET通过最小化整体多样性损失（ODL）来选择保留的专家，并结合层内局部搜索与层间回归引导的预算搜索，优化专家在各层的分配。在LingBot-Video 30B-A3B上，修剪50%的专家将检查点从57GB减少到30GB，并实现了在48GB GPU上的单卡部署，且无需微调。

🔬 方法详解

问题定义：本文旨在解决视频扩散变换器中专家修剪的高成本和低效率问题。现有方法依赖静态激活或路由统计，无法有效捕捉专家删除后的动态变化，导致计算资源浪费。

核心思路：DIET提出了一种基于删除响应的无训练专家修剪框架，通过记录专家输出和路由器状态，利用缓存张量重放候选删除，从而实现高效的专家选择。

技术框架：DIET的整体架构包括单次全专家校准、删除响应签名记录、专家选择和分配模块。首先进行全专家校准，然后记录每个专家的输出和路由器状态，接着通过重放机制评估候选删除，最后根据整体多样性损失进行专家选择和分配。

关键创新：DIET的主要创新在于引入删除响应签名，能够有效捕捉专家删除对模型输出的影响，从而优化专家的选择和分配。这一方法与传统的静态修剪方法本质上不同，具有更高的灵活性和适应性。

关键设计：DIET采用整体多样性损失（ODL）作为优化目标，确保保留的专家在签名空间中具有方向覆盖。此外，结合层内局部搜索与层间回归引导的预算搜索，优化了专家在不同层之间的分配。具体参数设置和损失函数设计在实验中经过验证，以确保最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LingBot-Video 30B-A3B上，DIET成功将专家数量从6144减少到3072，模型检查点从57GB降至30GB，实现了在48GB GPU上的单卡部署。通过固定284案例的VBench协议，VBench总分从0.7941提升至0.8115，展现出显著的性能提升，超越了基于大型语言模型的竞争性修剪基线。

🎯 应用场景

该研究在视频理解、生成和处理等领域具有广泛的应用潜力。通过优化专家修剪，DIET能够在资源受限的环境中实现高效的视频处理，推动实时视频分析和生成技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Video diffusion transformers (DiTs) increasingly adopt mixture-of-experts (MoE) architectures to reduce active computation, but their full expert storage remains costly. Existing one-shot pruning criteria mainly rely on static activation or routing statistics and cannot capture layer-level re-routing after expert deletion. We introduce DIET, a training-free expert pruning framework based on deletion responses. A single all-expert calibration pass records expert outputs and router states for matched conditional and unconditional tokens. Candidate deletions are then replayed from cached tensors, requiring no additional model forward passes. The resulting deletion-response signatures characterize each expert by the changes induced when it is removed. DIET selects retained experts by minimizing Overall Diversity Loss (ODL), which preserves directional coverage in signature space, and combines intra-layer local search with an inter-layer regression-guided budget search to allocate experts across layers. On LingBot-Video 30B-A3B, pruning 50% of experts (6,144 to 3,072) reduces the checkpoint from 57 GB to 30 GB and enables single-card deployment on a 48 GB GPU without fine-tuning. Under a fixed 284-case VBench protocol, the VBench Total increases from 0.7941 to 0.8115. Across tested retention budgets, DIET consistently outperforms competitive pruning baselines adapted from large language models.