OmniCam: Unified Multimodal Video Generation via Camera Control

📄 arXiv: 2504.02312v1 📥 PDF

作者: Xiaoda Yang, Jiayang Xu, Kaixuan Luan, Xinyu Zhan, Hongshun Qiu, Shijun Shi, Hao Li, Shuai Yang, Li Zhang, Checheng Yu, Cewu Lu, Lixin Yang

分类: cs.CV, cs.AI

发布日期: 2025-04-03

💡 一句话要点

OmniCam：通过相机控制实现统一的多模态视频生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 相机控制 视频生成 多模态融合 扩散模型 大型语言模型

📋 核心要点

  1. 现有相机控制方法交互复杂，控制能力有限，难以生成高质量视频。
  2. OmniCam利用大型语言模型和视频扩散模型，通过多模态输入实现精确的相机运动控制。
  3. OmniCam在高质量相机控制视频生成方面取得了SOTA性能，并发布了大规模数据集OmniTr。

📝 摘要（中文）

本文提出OmniCam，一个统一的多模态相机控制框架，旨在解决现有方法交互复杂和控制能力有限的问题。OmniCam利用大型语言模型和视频扩散模型生成时空一致的视频。它支持多种输入模态的组合：用户可以提供文本或视频以及期望的轨迹作为相机路径引导，并提供图像或视频作为内容参考，从而实现对相机运动的精确控制。为了方便OmniCam的训练，我们引入了OmniTr数据集，其中包含大量高质量的长序列轨迹、视频和相应的描述。实验结果表明，我们的模型在各种指标上实现了最先进的高质量相机控制视频生成性能。

🔬 方法详解

问题定义：现有相机控制方法面临交互复杂和控制能力有限的挑战。用户难以精确控制相机运动，从而生成符合期望的视频内容。此外，缺乏大规模高质量的数据集也限制了相关研究的发展。

核心思路：OmniCam的核心思路是利用大型语言模型理解用户意图，并结合视频扩散模型生成时空一致的视频。通过多模态输入（文本、视频、图像、轨迹）融合，实现对相机运动的精确控制。这种设计允许用户以灵活的方式指定期望的相机路径和视频内容。

技术框架：OmniCam的整体框架包含以下主要模块：1) 多模态输入编码器：用于将文本、视频、图像和轨迹等输入信息编码为统一的特征表示。2) 相机路径生成器：利用大型语言模型根据用户意图生成期望的相机运动轨迹。3) 视频扩散模型：根据相机运动轨迹和内容参考生成最终的视频。这些模块协同工作，实现相机控制的视频生成。

关键创新：OmniCam的关键创新在于其统一的多模态相机控制框架。与现有方法相比，OmniCam支持更灵活的输入模态组合，并能够生成更高质量、时空一致的视频。此外，OmniTr数据集的发布为相关研究提供了宝贵的数据资源。

关键设计：OmniCam的关键设计包括：1) 使用Transformer网络作为多模态输入编码器，以有效融合不同模态的信息。2) 采用预训练的大型语言模型作为相机路径生成器，以理解用户意图并生成合理的相机运动轨迹。3) 利用扩散模型生成高质量视频，并通过对抗训练提高视频的真实感。具体的损失函数和网络结构等技术细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OmniCam在高质量相机控制视频生成方面取得了显著的性能提升。通过与现有方法的对比，OmniCam在各种指标上均达到了SOTA水平。例如，在用户指定的相机轨迹生成视频的任务中，OmniCam生成的视频在视觉质量和时空一致性方面均优于其他方法。OmniTr数据集的发布也为后续研究提供了重要的资源。

🎯 应用场景

OmniCam具有广泛的应用前景，包括电影制作、游戏开发、虚拟现实、广告设计等领域。它可以帮助用户轻松创建具有复杂相机运动的视频内容，提高创作效率和质量。未来，OmniCam有望应用于自动化视频编辑、智能监控等领域，为人们的生活带来更多便利。

📄 摘要（原文）

Camera control, which achieves diverse visual effects by changing camera position and pose, has attracted widespread attention. However, existing methods face challenges such as complex interaction and limited control capabilities. To address these issues, we present OmniCam, a unified multimodal camera control framework. Leveraging large language models and video diffusion models, OmniCam generates spatio-temporally consistent videos. It supports various combinations of input modalities: the user can provide text or video with expected trajectory as camera path guidance, and image or video as content reference, enabling precise control over camera motion. To facilitate the training of OmniCam, we introduce the OmniTr dataset, which contains a large collection of high-quality long-sequence trajectories, videos, and corresponding descriptions. Experimental results demonstrate that our model achieves state-of-the-art performance in high-quality camera-controlled video generation across various metrics.