Live2Diff: Live Stream Translation via Uni-directional Attention in Video Diffusion Models

📄 arXiv: 2407.08701v1 📥 PDF

作者: Zhening Xing, Gereon Fox, Yanhong Zeng, Xingang Pan, Mohamed Elgharib, Christian Theobalt, Kai Chen

分类: cs.CV

发布日期: 2024-07-11

备注: https://live2diff.github.io/

💡 一句话要点

Live2Diff：提出基于单向注意力机制的视频扩散模型，用于实时流视频翻译。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频扩散模型 实时视频翻译 单向注意力 KV-cache 流水线 视频流处理 时间一致性

📋 核心要点

  1. 现有视频扩散模型采用双向时间注意力，无法直接应用于实时视频流处理。
  2. Live2Diff提出单向时间注意力机制，仅依赖历史帧和少量预热帧，保证时间一致性。
  3. 结合KV-cache和流水线技术，Live2Diff实现了交互式帧率的实时视频翻译，性能优于现有方法。

📝 摘要（中文）

本文提出Live2Diff，首次尝试设计具有单向时间注意力的视频扩散模型，专门用于实时流视频翻译。现有视频扩散模型利用双向时间注意力来建模当前帧与所有周围帧（包括未来帧）之间的相关性，这阻碍了它们处理流视频。Live2Diff通过将当前帧与其前帧和一些初始预热帧相关联，而无需任何未来帧，从而确保了时间一致性和平滑性。此外，我们使用了一种高效的去噪方案，该方案具有KV-cache机制和流水线，以促进以交互帧速率进行流视频翻译。大量实验表明，所提出的注意力机制和流水线的有效性，在时间平滑性和/或效率方面优于以前的方法。

🔬 方法详解

问题定义：现有视频扩散模型通常采用双向时间注意力机制，需要访问未来帧的信息，因此无法直接应用于实时视频流的翻译任务。这限制了视频扩散模型在需要低延迟的应用场景中的使用。

核心思路：Live2Diff的核心思路是使用单向时间注意力机制，使得模型在处理当前帧时只依赖于过去的帧和少量的初始预热帧。这样，模型就可以在没有未来信息的情况下进行视频翻译，从而实现实时处理。

技术框架：Live2Diff的整体框架基于视频扩散模型，主要包含以下几个模块：1) 编码器：将输入视频帧编码成潜在表示；2) 单向时间注意力模块：建模帧之间的时间依赖关系，只关注过去帧的信息；3) 解码器：将潜在表示解码成目标视频帧；4) KV-cache机制：缓存历史帧的特征，加速推理过程；5) 流水线：将不同的计算任务并行执行，提高整体效率。

关键创新：Live2Diff的关键创新在于提出了单向时间注意力机制，并将其应用于视频扩散模型中。这种机制使得模型能够处理实时视频流，而无需访问未来帧的信息。此外，KV-cache机制和流水线技术也显著提高了模型的推理速度。

关键设计：在单向时间注意力模块中，模型使用Transformer架构，并修改了注意力机制，使其只能关注过去帧的信息。KV-cache机制用于缓存过去帧的键(Key)和值(Value)，避免重复计算。流水线将编码、注意力计算和解码等任务分配到不同的设备上并行执行，从而提高整体效率。具体的参数设置和损失函数等细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Live2Diff在时间平滑性和效率方面优于现有方法。通过单向注意力机制和高效的流水线设计，Live2Diff能够以交互式帧率进行实时视频翻译。具体的性能数据和对比基线在论文中有详细展示，证明了所提出方法的有效性。

🎯 应用场景

Live2Diff在实时视频翻译、直播内容生成、虚拟现实和增强现实等领域具有广泛的应用前景。例如，它可以用于实时将一种语言的直播视频翻译成另一种语言，或者用于生成具有特定风格的实时视频内容。该技术还可以应用于需要低延迟的交互式应用中，例如虚拟会议和远程协作。

📄 摘要（原文）

Large Language Models have shown remarkable efficacy in generating streaming data such as text and audio, thanks to their temporally uni-directional attention mechanism, which models correlations between the current token and previous tokens. However, video streaming remains much less explored, despite a growing need for live video processing. State-of-the-art video diffusion models leverage bi-directional temporal attention to model the correlations between the current frame and all the surrounding (i.e. including future) frames, which hinders them from processing streaming videos. To address this problem, we present Live2Diff, the first attempt at designing a video diffusion model with uni-directional temporal attention, specifically targeting live streaming video translation. Compared to previous works, our approach ensures temporal consistency and smoothness by correlating the current frame with its predecessors and a few initial warmup frames, without any future frames. Additionally, we use a highly efficient denoising scheme featuring a KV-cache mechanism and pipelining, to facilitate streaming video translation at interactive framerates. Extensive experiments demonstrate the effectiveness of the proposed attention mechanism and pipeline, outperforming previous methods in terms of temporal smoothness and/or efficiency.