MotionRAG: Motion Retrieval-Augmented Image-to-Video Generation

📄 arXiv: 2509.26391v1 📥 PDF

作者: Chenhui Zhu, Yilu Wu, Shuai Wang, Gangshan Wu, Limin Wang

分类: cs.CV

发布日期: 2025-09-30

💡 一句话要点

MotionRAG：通过检索增强运动先验实现逼真的图像到视频生成

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting)

关键词: 图像到视频生成 运动建模 检索增强 扩散模型 上下文学习 运动适配 零样本学习

📋 核心要点

  1. 现有图像到视频生成方法难以准确建模复杂运动，缺乏对物理约束和领域动态的有效泛化能力。
  2. MotionRAG通过检索相关视频的运动先验，并利用上下文感知的运动适配机制，提升生成视频的运动真实感。
  3. 实验表明，MotionRAG在多个领域和不同基础模型上均有显著提升，且具有零样本泛化能力和低计算开销。

📝 摘要（中文）

图像到视频的生成随着扩散模型的进步取得了显著进展，但生成具有真实运动的视频仍然极具挑战性。这种困难源于精确建模运动的复杂性，这涉及到捕捉物理约束、对象交互以及特定领域的动态，而这些动态很难在不同的场景中进行泛化。为了解决这个问题，我们提出了MotionRAG，这是一个检索增强框架，通过上下文感知的运动适配（CAMA）从相关的参考视频中调整运动先验，从而增强运动的真实感。关键的技术创新包括：（i）一个基于检索的流程，使用视频编码器和专门的重采样器提取高层运动特征，以提取语义运动表示；（ii）一种通过因果Transformer架构实现的用于运动适配的上下文学习方法；（iii）一个基于注意力的运动注入适配器，将转移的运动特征无缝集成到预训练的视频扩散模型中。大量的实验表明，我们的方法在多个领域和各种基础模型上都取得了显著的改进，并且在推理过程中计算开销可以忽略不计。此外，我们的模块化设计可以通过简单地更新检索数据库而无需重新训练任何组件来实现对新领域的零样本泛化。这项研究通过实现运动先验的有效检索和转移，促进了真实运动动态的合成，从而增强了视频生成系统的核心能力。

🔬 方法详解

问题定义：图像到视频生成任务旨在从单张图像生成一段连贯的视频。现有的方法在生成逼真运动方面面临挑战，难以捕捉复杂的物理约束、对象交互和领域特定动态。这些方法通常依赖于学习大量数据的通用运动模式，但难以泛化到新的场景和领域，导致生成的视频运动不自然或不真实。

核心思路：MotionRAG的核心思路是通过检索与输入图像相关的参考视频，并从中提取运动先验知识，然后将这些先验知识融入到视频生成过程中。这种方法借鉴了人类学习新技能的方式，即通过观察和模仿来学习运动模式。通过检索相关的运动信息，MotionRAG可以更好地捕捉特定场景下的运动规律，从而生成更逼真的视频。

技术框架：MotionRAG的整体框架包括三个主要模块：运动检索模块、运动适配模块和运动注入模块。首先，运动检索模块使用视频编码器和重采样器提取参考视频的运动特征，并根据与输入图像的相似度进行检索。然后，运动适配模块使用因果Transformer架构，通过上下文学习的方式将检索到的运动特征进行适配，使其与输入图像的内容相匹配。最后，运动注入模块使用基于注意力的机制，将适配后的运动特征无缝地注入到预训练的视频扩散模型中，从而生成具有真实运动的视频。

关键创新：MotionRAG的关键创新在于其检索增强的运动建模方法。与传统的直接学习运动模式的方法不同，MotionRAG通过检索相关的运动先验知识，并将其融入到生成过程中，从而更好地捕捉特定场景下的运动规律。此外，MotionRAG的上下文感知的运动适配模块和基于注意力的运动注入模块也为运动信息的有效利用提供了保障。

关键设计：在运动检索模块中，使用了视频编码器提取高层运动特征，并使用专门的重采样器来减少计算量。在运动适配模块中，使用了因果Transformer架构，以保证运动的因果关系。在运动注入模块中，使用了基于注意力的机制，以实现运动特征的无缝集成。此外，该方法采用模块化设计，允许在不重新训练任何组件的情况下，通过更新检索数据库来实现对新领域的零样本泛化。

📊 实验亮点

实验结果表明，MotionRAG在多个领域和各种基础模型上都取得了显著的改进。例如，在生成人类动作视频时，MotionRAG能够生成更自然、更逼真的运动。此外，MotionRAG的推理速度很快，计算开销可以忽略不计。更重要的是，MotionRAG具有零样本泛化能力，可以通过简单地更新检索数据库来实现对新领域的适应。

🎯 应用场景

MotionRAG具有广泛的应用前景，包括视频编辑、游戏开发、电影制作、虚拟现实和增强现实等领域。它可以用于生成各种类型的视频，例如人物动作、动物行为、自然景观等。此外，MotionRAG的零样本泛化能力使其能够快速适应新的领域和场景，从而降低了视频生成的成本和难度。未来，MotionRAG有望成为视频生成领域的重要技术。

📄 摘要（原文）

Image-to-video generation has made remarkable progress with the advancements in diffusion models, yet generating videos with realistic motion remains highly challenging. This difficulty arises from the complexity of accurately modeling motion, which involves capturing physical constraints, object interactions, and domain-specific dynamics that are not easily generalized across diverse scenarios. To address this, we propose MotionRAG, a retrieval-augmented framework that enhances motion realism by adapting motion priors from relevant reference videos through Context-Aware Motion Adaptation (CAMA). The key technical innovations include: (i) a retrieval-based pipeline extracting high-level motion features using video encoder and specialized resamplers to distill semantic motion representations; (ii) an in-context learning approach for motion adaptation implemented through a causal transformer architecture; (iii) an attention-based motion injection adapter that seamlessly integrates transferred motion features into pretrained video diffusion models. Extensive experiments demonstrate that our method achieves significant improvements across multiple domains and various base models, all with negligible computational overhead during inference. Furthermore, our modular design enables zero-shot generalization to new domains by simply updating the retrieval database without retraining any components. This research enhances the core capability of video generation systems by enabling the effective retrieval and transfer of motion priors, facilitating the synthesis of realistic motion dynamics.