C-Drag: Chain-of-Thought Driven Motion Controller for Video Generation

📄 arXiv: 2502.19868v1 📥 PDF

作者: Yuhao Li, Mirana Claire Angel, Salman Khan, Yu Zhu, Jinqiu Sun, Yanning Zhang, Fahad Shahbaz Khan

分类: cs.CV

发布日期: 2025-02-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出C-Drag，通过思维链驱动的运动控制器实现更精细的可控视频生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可控视频生成 运动控制 思维链 扩散模型 对象交互

📋 核心要点

  1. 现有基于轨迹的视频生成方法通常仅限于生成受控对象的运动轨迹，忽略了对象与环境的动态交互。
  2. C-Drag通过对象感知和思维链推理，模拟对象间的动态交互，从而生成更真实、可控的视频。
  3. 实验表明，C-Drag在对象运动控制方面表现出色，并在新提出的VOI数据集上取得了有希望的结果。

📝 摘要（中文）

本文提出了一种基于思维链的运动控制器C-Drag，用于可控视频生成，旨在解决现有基于轨迹的方法忽略受控对象与周围环境之间动态交互的问题。C-Drag首先执行对象感知，然后根据给定的对象运动控制，推理不同对象之间的动态交互。该方法包含一个对象感知模块和一个基于思维链的运动推理模块。对象感知模块利用视觉语言模型捕获图像中各种对象的位置和类别信息。运动推理模块以这些信息为输入，进行阶段性的推理过程，为每个受影响的对象生成运动轨迹，随后将其输入到扩散模型中进行视频合成。此外，本文还引入了一个新的视频对象交互（VOI）数据集，用于评估运动控制视频生成方法的生成质量。实验结果表明，C-Drag在多个指标上取得了有希望的性能，尤其是在对象运动控制方面表现出色。

🔬 方法详解

问题定义：现有基于轨迹的运动控制视频生成方法主要关注如何控制特定对象的运动轨迹，而忽略了该对象与周围环境以及其他对象之间的动态交互。这种忽略导致生成的视频缺乏真实感和自然性，限制了可控视频生成的应用范围。

核心思路：C-Drag的核心思路是引入思维链（Chain-of-Thought）推理，模拟人类在理解和预测物体运动时的思考过程。通过首先感知场景中的物体，然后推理它们之间的相互作用，从而生成更合理、更自然的运动轨迹。这种方法将运动控制问题分解为多个可解释的步骤，使得模型能够更好地理解场景的动态变化。

技术框架：C-Drag的整体框架包含两个主要模块：对象感知模块和基于思维链的运动推理模块。对象感知模块利用视觉语言模型（VLM）来识别图像中的物体，并提取它们的位置和类别信息。这些信息随后被传递给运动推理模块。运动推理模块采用思维链的方式，逐步推理每个物体在给定运动控制下的运动轨迹。最后，生成的运动轨迹被输入到扩散模型中，用于生成最终的视频。

关键创新：C-Drag的关键创新在于将思维链推理引入到运动控制视频生成中。与直接预测运动轨迹的方法不同，C-Drag通过模拟人类的思考过程，逐步推理物体之间的相互作用，从而生成更合理的运动轨迹。此外，提出的VOI数据集也为评估此类方法的性能提供了新的基准。

关键设计：对象感知模块使用了预训练的视觉语言模型，例如CLIP或类似的模型，以提取图像中物体的视觉特征和语义信息。运动推理模块的设计需要仔细考虑思维链的结构和推理步骤。例如，可以设计一个多步骤的推理过程，首先确定受控对象的运动轨迹，然后推理其他相关对象的运动轨迹。损失函数的设计也至关重要，可以包括运动轨迹的平滑性损失、对象间交互的合理性损失等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，C-Drag在多个指标上优于现有的运动控制视频生成方法。特别是在对象运动控制方面，C-Drag能够生成更准确、更自然的运动轨迹。此外，C-Drag在新提出的VOI数据集上取得了有希望的性能，证明了其在处理复杂对象交互方面的能力。具体性能数据和对比基线可在论文原文和开源代码库中找到。

🎯 应用场景

C-Drag具有广泛的应用前景，包括视频编辑、游戏开发、虚拟现实和增强现实等领域。它可以用于创建更逼真、更具交互性的虚拟环境，例如，用户可以通过控制一个物体的运动来影响其他物体的运动，从而实现更精细的视频编辑和游戏体验。此外，C-Drag还可以用于生成训练数据，以改进其他视频生成模型的性能。

📄 摘要（原文）

Trajectory-based motion control has emerged as an intuitive and efficient approach for controllable video generation. However, the existing trajectory-based approaches are usually limited to only generating the motion trajectory of the controlled object and ignoring the dynamic interactions between the controlled object and its surroundings. To address this limitation, we propose a Chain-of-Thought-based motion controller for controllable video generation, named C-Drag. Instead of directly generating the motion of some objects, our C-Drag first performs object perception and then reasons the dynamic interactions between different objects according to the given motion control of the objects. Specifically, our method includes an object perception module and a Chain-of-Thought-based motion reasoning module. The object perception module employs visual language models to capture the position and category information of various objects within the image. The Chain-of-Thought-based motion reasoning module takes this information as input and conducts a stage-wise reasoning process to generate motion trajectories for each of the affected objects, which are subsequently fed to the diffusion model for video synthesis. Furthermore, we introduce a new video object interaction (VOI) dataset to evaluate the generation quality of motion controlled video generation methods. Our VOI dataset contains three typical types of interactions and provides the motion trajectories of objects that can be used for accurate performance evaluation. Experimental results show that C-Drag achieves promising performance across multiple metrics, excelling in object motion control. Our benchmark, codes, and models will be available at https://github.com/WesLee88524/C-Drag-Official-Repo.