StreamErase: Towards Ultra-Fast Streaming Video Erasing
作者: Zhuobai Dong, Xiaobing Tu, Xiantao Zhang, Jinkui Ren, Yinggui Wang, Yue Ma, Linfeng Zhang
分类: cs.CV
发布日期: 2026-10-14
💡 一句话要点
提出StreamErase以解决视频对象去除的实时性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频对象去除 实时处理 流媒体生成 因果注意力 长视频理解 自我回滚 视觉保真度
📋 核心要点
- 现有视频对象去除方法存在显著延迟，无法满足实时交互需求。
- 提出StreamErase，通过增强文本到视频模型，结合滑动窗口因果注意力机制，实现高效视频去除。
- 模型在长视频对象去除任务中表现优异，能够实现无限长度流媒体生成，用户体验显著提升。
📝 摘要（中文）
当前的视频对象去除方法存在显著的延迟（每个视频需几分钟）和非因果处理，无法实现实时交互。我们提出了StreamErase，能够在单个GPU上实现亚秒级延迟和每秒高达26帧的流媒体生成。该方法首先通过掩码输入增强文本到视频模型，以生成高质量的视频，去除目标对象并合成连贯的背景，但不进行实时推理。我们将去除能力逐步从强大的双向基础模型转移到高效的单向流媒体去除器，实现长时间范围去除而不牺牲视觉保真度。为了解决生成长视频时的关键挑战，我们设计了滑动窗口因果注意力机制，并在训练过程中结合自我回滚和注意力汇聚，模拟推理时的外推，确保生成任意长度视频的恒定速度。
🔬 方法详解
问题定义：本论文旨在解决现有视频对象去除方法的高延迟和非因果处理问题，导致无法实现实时交互。现有方法通常需要几分钟的处理时间，无法满足用户的实时需求。
核心思路：论文提出StreamErase，通过增强文本到视频模型，结合滑动窗口因果注意力机制，逐步将去除能力从双向模型转移到高效的单向流媒体去除器，从而实现长时间范围的去除而不牺牲视觉质量。
技术框架：整体架构包括三个主要模块：文本到视频模型、滑动窗口因果注意力机制和自我回滚机制。文本到视频模型负责生成初始视频，滑动窗口因果注意力机制确保在长视频生成过程中保持高质量，而自我回滚机制则用于模拟推理时的外推。
关键创新：最重要的技术创新在于滑动窗口因果注意力机制的设计，能够在不增加计算成本的情况下，支持长时间范围的视频生成。这一设计使得模型在生成过程中避免了错误累积，并保持了高质量输出。
关键设计：在训练过程中，采用了注意力汇聚和KV缓存回滚等技术细节，以确保在固定上下文窗口内进行推理时的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，StreamErase在视频对象去除任务中表现优异，相较于现有模型，能够实现高达26 FPS的流媒体生成，且在视觉保真度上没有明显下降。这一性能提升使得用户能够实时看到去除效果，极大增强了交互体验。
🎯 应用场景
该研究的潜在应用领域包括视频编辑、实时视频监控和虚拟现实等场景。通过实现实时的视频对象去除，用户可以在各种应用中获得更流畅的交互体验，提升视频内容的可用性和美观性。未来，该技术可能会在社交媒体和在线直播等领域产生深远影响。
📄 摘要（原文）
Current video object removal methods suffer from prohibitive latency (minutes per video) and non-causal processing that prevents real-time interaction. We present StreamErase, enabling sub-second latency with up to 26 FPS streaming generation on a single GPU. Our approach first augments a text-to-video model with mask input to generate high-quality videos that erase target objects and synthesize coherent backgrounds, but does not perform inference on the fly. As such, we progressively transfer the erasing capability from a powerful bidirectional foundation model to an efficient unidirectional streaming eraser, enabling long-horizon erasing without sacrificing visual fidelity. Several key challenges arise when generating videos over long, potentially infinite horizons: (1) bridging the domain gap from training on finite length and extrapolating to long horizons, (2) sustaining high quality by preventing error accumulation, and (3) maintaining fast inference, without increasing computational cost as the context grows. To address these challenges, we carefully designed sliding-window causal attention with attention sinks. By incorporating self-rollout with attention sinks and KV cache rolling during training, we simulate inference-time extrapolations with a fixed context window, enabling constant-speed generation of arbitrarily long videos. Finally, we establish a dedicated benchmark, LongErase, for streaming long-video object removal. Our model achieves strong performance compared to existing video object erasing models and generalizes well to real-world video scenarios, uniquely enabling infinite-length streaming. With StreamErase, users can input a mask and see the erasing results unfold in real-time, delivering a truly interactive experience.