Text-Driven Reasoning Video Editing via Reinforcement Learning on Digital Twin Representations

📄 arXiv: 2511.14100v1 📥 PDF

作者: Yiqing Shen, Chenjia Li, Mathias Unberath

分类: cs.CV

发布日期: 2025-11-18

💡 一句话要点

提出RIVER模型，通过数字孪生和强化学习解决文本驱动的推理视频编辑任务。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 文本驱动视频编辑 推理编辑 数字孪生 强化学习 多跳推理

📋 核心要点

  1. 现有文本驱动视频编辑方法依赖于精确的编辑目标描述，难以处理语义属性或对象关系的隐式查询。
  2. RIVER模型利用数字孪生表示解耦推理和生成，通过大型语言模型进行多跳推理，指导扩散模型进行编辑。
  3. RIVER在RVEBenchmark上取得最佳性能，并在VegGIE和FiVE上超越现有方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种新的视频编辑任务——推理视频编辑，该任务要求模型通过多跳推理来理解隐式查询，从而推断出编辑目标并执行修改。为此，作者们提出了RIVER（Reasoning-based Implicit Video Editor）模型，该模型通过视频内容的数字孪生表示来解耦推理和生成，数字孪生表示保留了空间关系、时间轨迹和语义属性。然后，大型语言模型将处理此表示以及隐式查询，执行多跳推理以确定修改，并输出结构化指令，指导基于扩散的编辑器执行像素级更改。RIVER训练使用强化学习，奖励评估推理准确性和生成质量。此外，作者们还提出了RVEBenchmark，一个包含100个视频和519个隐式查询的基准，专门用于推理视频编辑。实验结果表明，RIVER在RVEBenchmark上表现最佳，并在VegGIE和FiVE两个额外的视频编辑基准上实现了最先进的性能，超过了六种基线方法。

🔬 方法详解

问题定义：论文旨在解决文本驱动的推理视频编辑问题，即用户通过隐式查询（例如，基于语义属性或对象关系）来编辑视频，而现有方法通常需要明确的编辑目标描述，无法处理这种复杂的推理需求。现有方法的痛点在于缺乏对视频内容深层次的理解和推理能力，难以将隐式查询转化为具体的编辑指令。

核心思路：论文的核心思路是将推理和生成解耦。首先，通过数字孪生表示对视频内容进行编码，保留视频中的空间关系、时间轨迹和语义属性。然后，利用大型语言模型对数字孪生表示和隐式查询进行多跳推理，生成结构化的编辑指令。最后，使用基于扩散模型的编辑器根据指令执行像素级别的修改。这种解耦的设计使得模型可以专注于推理和生成两个不同的任务，从而提高编辑的准确性和质量。

技术框架：RIVER模型的整体框架包含三个主要模块：数字孪生表示模块、推理模块和生成模块。数字孪生表示模块负责将视频编码成保留空间、时间和语义信息的表示。推理模块使用大型语言模型，结合数字孪生表示和隐式查询，进行多跳推理，生成结构化的编辑指令。生成模块则是一个基于扩散模型的视频编辑器，根据推理模块生成的指令，对视频进行像素级别的修改。整个流程通过强化学习进行端到端训练，奖励函数同时考虑推理的准确性和生成的质量。

关键创新：RIVER模型最重要的技术创新点在于引入了数字孪生表示和解耦推理与生成的设计。数字孪生表示能够有效地捕捉视频中的复杂关系，为推理提供丰富的信息。解耦的设计使得模型可以分别优化推理和生成模块，从而提高整体性能。此外，使用强化学习进行训练也使得模型能够更好地适应复杂的推理编辑任务。

关键设计：在数字孪生表示模块中，使用了预训练的视觉模型来提取视频帧的特征，并使用图神经网络来建模对象之间的关系。在推理模块中，使用了预训练的大型语言模型，并针对视频编辑任务进行了微调。在生成模块中，使用了基于扩散模型的视频编辑器，并根据推理模块的指令进行条件生成。强化学习的奖励函数包括推理准确性奖励和生成质量奖励，其中推理准确性奖励通过评估生成的编辑指令与真实指令的匹配程度来计算，生成质量奖励通过评估编辑后的视频与用户期望的匹配程度来计算。

📊 实验亮点

RIVER在提出的RVEBenchmark上取得了最佳性能，证明了其在推理视频编辑任务上的有效性。此外，RIVER还在VegGIE和FiVE两个视频编辑基准上实现了最先进的性能，超越了六种基线方法，表明其具有良好的泛化能力。实验结果验证了数字孪生表示和解耦推理与生成设计的有效性。

🎯 应用场景

RIVER模型在视频内容创作、自动化视频编辑、个性化视频生成等领域具有广泛的应用前景。例如，用户可以通过简单的文本描述，快速修改视频内容，实现创意想法。该技术还可以应用于智能监控、自动驾驶等领域，提高视频分析和理解的准确性。

📄 摘要（原文）

Text-driven video editing enables users to modify video content only using text queries. While existing methods can modify video content if explicit descriptions of editing targets with precise spatial locations and temporal boundaries are provided, these requirements become impractical when users attempt to conceptualize edits through implicit queries referencing semantic properties or object relationships. We introduce reasoning video editing, a task where video editing models must interpret implicit queries through multi-hop reasoning to infer editing targets before executing modifications, and a first model attempting to solve this complex task, RIVER (Reasoning-based Implicit Video Editor). RIVER decouples reasoning from generation through digital twin representations of video content that preserve spatial relationships, temporal trajectories, and semantic attributes. A large language model then processes this representation jointly with the implicit query, performing multi-hop reasoning to determine modifications, then outputs structured instructions that guide a diffusion-based editor to execute pixel-level changes. RIVER training uses reinforcement learning with rewards that evaluate reasoning accuracy and generation quality. Finally, we introduce RVEBenchmark, a benchmark of 100 videos with 519 implicit queries spanning three levels and categories of reasoning complexity specifically for reasoning video editing. RIVER demonstrates best performance on the proposed RVEBenchmark and also achieves state-of-the-art performance on two additional video editing benchmarks (VegGIE and FiVE), where it surpasses six baseline methods.