DiffVC: A Non-autoregressive Framework Based on Diffusion Model for Video Captioning
作者: Junbo Wang, Liangyu Fu, Yuke Li, Yining Zhu, Ya Jing, Xuecheng Wu, Jiangbin Zheng
分类: cs.CV
发布日期: 2026-04-09
💡 一句话要点
提出DiffVC：一种基于扩散模型的非自回归视频字幕生成框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频字幕生成 扩散模型 非自回归 多模态学习 条件生成
📋 核心要点
- 现有自回归视频字幕方法存在生成速度慢和累积误差大的问题，非自回归方法则缺乏有效的多模态交互建模。
- DiffVC利用扩散模型进行非自回归生成，通过判别式条件去噪，实现视频信息引导下的高质量文本生成。
- 实验结果表明，DiffVC在生成速度上优于自回归方法，并在多个指标上取得了显著提升，性能可与自回归方法媲美。
📝 摘要（中文）
本文提出了一种基于扩散模型的非自回归视频字幕生成框架DiffVC，旨在解决现有自回归方法生成速度慢、累积误差大，以及非自回归方法多模态交互建模不足导致生成质量低的问题。DiffVC利用并行解码有效解决了生成速度和累积误差问题，并提出了判别式条件扩散模型以生成更高质量的文本描述。该方法首先将视频编码为视觉表示，然后在训练过程中，向真实字幕的文本表示添加高斯噪声。接着，通过判别式去噪器，以视觉表示为条件约束，生成新的文本表示。最后，将新的文本表示输入到非自回归语言模型中生成字幕。在MSVD、MSR-VTT和VATEX数据集上的实验表明，该方法优于以往的非自回归方法，并达到了与自回归方法相当的性能，例如在CIDEr指标上最大提升了9.9，在B@4指标上提升了2.6，同时具有更快的生成速度。源代码即将发布。
🔬 方法详解
问题定义：现有的视频字幕生成方法通常采用自回归的编码器-解码器结构，这种结构存在生成速度慢和累积误差大的问题。虽然也有一些非自回归方法，但由于缺乏充分的多模态交互建模，导致生成质量不高。因此，需要一种既能保证生成速度，又能保证生成质量的视频字幕生成方法。
核心思路：DiffVC的核心思路是利用扩散模型进行非自回归的视频字幕生成。扩散模型通过逐步添加噪声，然后学习如何从噪声中恢复原始数据，从而实现高质量的生成。通过将视频信息作为条件，引导扩散模型的去噪过程，可以生成与视频内容相关的文本描述。
技术框架：DiffVC的整体框架包括视频编码、文本表示噪声添加、判别式条件去噪和非自回归语言模型四个主要模块。首先，视频编码器将视频转换为视觉表示。然后，在训练阶段，向真实字幕的文本表示添加高斯噪声。接着，判别式去噪器以视觉表示为条件，从噪声中恢复文本表示。最后，非自回归语言模型将恢复的文本表示转换为最终的字幕。在推理阶段，直接从高斯分布中采样噪声，然后通过判别式去噪器和非自回归语言模型生成字幕。
关键创新：DiffVC的关键创新在于使用判别式条件扩散模型进行视频字幕生成。与传统的生成式扩散模型不同，判别式扩散模型在去噪过程中显式地利用了视频信息作为条件，从而更好地保证了生成字幕与视频内容的相关性。此外，非自回归的生成方式也显著提高了生成速度。
关键设计：DiffVC的关键设计包括判别式去噪器的网络结构和损失函数。判别式去噪器通常采用Transformer结构，以实现更好的多模态交互建模。损失函数包括去噪损失和语言模型损失，用于指导去噪器和语言模型的训练。具体的参数设置需要根据不同的数据集进行调整。
🖼️ 关键图片
📊 实验亮点
DiffVC在MSVD、MSR-VTT和VATEX数据集上进行了实验，结果表明其性能优于以往的非自回归方法，并达到了与自回归方法相当的水平。例如，在CIDEr指标上，DiffVC最大提升了9.9，在B@4指标上提升了2.6，同时具有更快的生成速度。这些结果表明DiffVC在视频字幕生成方面具有显著的优势。
🎯 应用场景
DiffVC具有广泛的应用前景，例如在视频搜索、视频摘要、智能监控等领域。它可以根据视频内容自动生成描述，帮助用户快速理解视频内容，提高信息检索效率。此外，DiffVC还可以应用于智能客服领域，自动生成视频相关的回复，提高客户服务质量。未来，DiffVC有望在更多领域发挥重要作用。
📄 摘要（原文）
Current video captioning methods usually use an encoder-decoder structure to generate text autoregressively. However, autoregressive methods have inherent limitations such as slow generation speed and large cumulative error. Furthermore, the few non-autoregressive counterparts suffer from deficiencies in generation quality due to the lack of sufficient multimodal interaction modeling. Therefore, we propose a non-autoregressive framework based on Diffusion model for Video Captioning (DiffVC) to address these issues. Its parallel decoding can effectively solve the problems of generation speed and cumulative error. At the same time, our proposed discriminative conditional Diffusion Model can generate higher-quality textual descriptions. Specifically, we first encode the video into a visual representation. During training, Gaussian noise is added to the textual representation of the ground-truth caption. Then, a new textual representation is generated via the discriminative denoiser with the visual representation as a conditional constraint. Finally, we input the new textual representation into a non-autoregressive language model to generate captions. During inference, we directly sample noise from the Gaussian distribution for generation. Experiments on MSVD, MSR-VTT, and VATEX show that our method can outperform previous non-autoregressive methods and achieve comparable performance to autoregressive methods, e.g., it achieved a maximum improvement of 9.9 on the CIDEr and improvement of 2.6 on the B@4, while having faster generation speed. The source code will be available soon.