MiniMax-Remover: Taming Bad Noise Helps Video Object Removal
作者: Bojia Zi, Weixuan Peng, Xianbiao Qi, Jianan Wang, Shihao Zhao, Rong Xiao, Kam-Fai Wong
分类: cs.CV
发布日期: 2025-05-30
💡 一句话要点
MiniMax-Remover：通过驾驭不良噪声提升视频物体移除效果
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 视频物体移除 视频编辑 扩散模型 Minimax优化 对抗训练
📋 核心要点
- 现有视频物体移除方法存在幻觉物体、视觉伪影等问题，且依赖高计算量的采样和无分类器引导，导致推理速度慢。
- MiniMax-Remover通过两阶段方法解决上述问题：简化模型结构提升效率，并使用minimax优化策略提升移除质量。
- 实验表明，MiniMax-Remover仅需少量采样步骤即可达到SOTA效果，且无需无分类器引导，显著提升了推理效率。
📝 摘要（中文）
视频扩散模型的最新进展推动了视频编辑技术的快速发展。然而，视频物体移除作为视频编辑的关键子任务，由于幻觉物体和视觉伪影等问题仍然具有挑战性。此外，现有方法通常依赖于计算成本高昂的采样过程和无分类器引导（CFG），导致推理速度缓慢。为了解决这些限制，我们提出了一种新颖的两阶段视频物体移除方法MiniMax-Remover。基于文本条件不适用于此任务的观察，我们通过移除文本输入和交叉注意力层来简化预训练的视频生成模型，从而在第一阶段获得更轻量级和高效的模型架构。在第二阶段，我们使用minimax优化策略，在由人类标注者策划的、由第一阶段模型生成的成功视频上，对我们的移除器进行蒸馏，以进一步提高编辑质量和推理速度。具体来说，内部最大化识别出导致移除失败的对抗性输入噪声（“不良噪声”），而外部最小化步骤训练模型，即使在如此具有挑战性的条件下也能生成高质量的移除结果。因此，我们的方法以最少6个采样步骤实现了最先进的视频物体移除结果，并且不依赖CFG，从而显著提高了推理效率。大量的实验证明了MiniMax-Remover与现有方法相比的有效性和优越性。
🔬 方法详解
问题定义：论文旨在解决视频物体移除任务中，现有方法存在的生成伪影、计算复杂度高、推理速度慢等问题。现有方法通常依赖于复杂的文本条件输入和计算量大的采样过程，限制了其在实际应用中的可行性。
核心思路：论文的核心思路是简化模型结构，去除不必要的文本条件输入，并通过minimax优化策略来提升模型对噪声的鲁棒性。通过两阶段训练，首先训练一个基础的移除模型，然后通过对抗训练的方式，使模型能够抵抗“不良噪声”的干扰，从而生成更干净、更真实的移除结果。
技术框架：MiniMax-Remover包含两个主要阶段： 1. 第一阶段：轻量级移除模型训练。该阶段通过移除预训练视频生成模型中的文本输入和交叉注意力层，构建一个更轻量级的视频移除模型。 2. 第二阶段：Minimax优化蒸馏。该阶段使用minimax优化策略，在第一阶段生成的成功视频上进行蒸馏训练。内部最大化步骤寻找导致移除失败的对抗性噪声，外部最小化步骤训练模型以抵抗这些噪声。
关键创新：论文的关键创新在于提出了基于minimax优化的对抗训练策略，用于提升视频物体移除模型对噪声的鲁棒性。通过识别和对抗“不良噪声”，模型能够生成更稳定、更可靠的移除结果。此外，简化模型结构，去除文本输入，也显著提升了推理效率。
关键设计： * Minimax优化目标：内部最大化目标旨在寻找使移除效果最差的噪声，外部最小化目标旨在最小化模型在这些噪声下的损失。 * 噪声生成策略：论文可能采用了某种方式来生成对抗性噪声，例如基于梯度的攻击方法。 * 损失函数：损失函数可能包括重建损失、对抗损失等，用于衡量移除结果的质量和真实性。 * 蒸馏策略：使用第一阶段模型生成的成功视频作为训练数据，进行知识蒸馏，将知识从第一阶段模型转移到第二阶段模型。
🖼️ 关键图片
📊 实验亮点
MiniMax-Remover在视频物体移除任务上取得了SOTA结果，仅需6个采样步骤，且无需无分类器引导（CFG），显著提升了推理效率。实验结果表明，该方法能够有效减少幻觉物体和视觉伪影，生成更干净、更真实的移除结果。具体性能提升数据未知，但摘要强调了其优于现有方法。
🎯 应用场景
该研究成果可应用于视频编辑、内容创作、安全监控等领域。例如，可以用于快速移除视频中不需要的物体，如行人、车辆等，从而简化视频编辑流程。在安全监控领域，可以用于移除视频中的敏感信息，保护隐私。未来，该技术有望进一步发展，实现更智能、更高效的视频编辑和处理。
📄 摘要（原文）
Recent advances in video diffusion models have driven rapid progress in video editing techniques. However, video object removal, a critical subtask of video editing, remains challenging due to issues such as hallucinated objects and visual artifacts. Furthermore, existing methods often rely on computationally expensive sampling procedures and classifier-free guidance (CFG), resulting in slow inference. To address these limitations, we propose MiniMax-Remover, a novel two-stage video object removal approach. Motivated by the observation that text condition is not best suited for this task, we simplify the pretrained video generation model by removing textual input and cross-attention layers, resulting in a more lightweight and efficient model architecture in the first stage. In the second stage, we distilled our remover on successful videos produced by the stage-1 model and curated by human annotators, using a minimax optimization strategy to further improve editing quality and inference speed. Specifically, the inner maximization identifies adversarial input noise ("bad noise") that makes failure removals, while the outer minimization step trains the model to generate high-quality removal results even under such challenging conditions. As a result, our method achieves a state-of-the-art video object removal results with as few as 6 sampling steps and doesn't rely on CFG, significantly improving inference efficiency. Extensive experiments demonstrate the effectiveness and superiority of MiniMax-Remover compared to existing methods. Codes and Videos are available at: https://minimax-remover.github.io.