TKCAM: Text and Keyframe to Camera Trajectory Generation

📄 arXiv: 2610.11105v1 📥 PDF

作者: Haozhe Yang, Zhiyang Dou, Zekai Gu, Cheng Lin, Wenping Wang, Yuan Liu, Taku Komura

分类: cs.CV

发布日期: 2026-10-08

备注: 20 pages, 7 figures. Paper accepted to NeurIPS2026 (submission number 15461)

🔗 代码/项目: GITHUB

💡 一句话要点

提出TKCAM以解决高质量相机运动生成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 相机运动生成 多模态条件 生成掩模建模 稀疏视觉关键帧 视频合成 AI辅助电影制作 3D场景理解

📋 核心要点

  1. 现有方法在生成相机运动时缺乏高质量和可控性，难以满足复杂场景的需求。
  2. TKCAM通过文本和关键帧条件生成相机运动，采用生成掩模建模和多模态条件处理来提升生成效果。
  3. 实验结果显示，TKCAM在多个指标上超越了现有最先进的基线，验证了其有效性和优越性。

📝 摘要（中文）

生成高质量且可控的相机运动对于AI辅助电影制作、视频合成和3D场景理解至关重要。本文介绍了TKCAM，一个基于生成掩模建模的文本和关键帧条件相机运动合成框架。我们使用12维运动特征表示相机动态，并通过残差向量量化器（RVQ）将其离散化为层次运动标记。采用两阶段掩模变换器架构来学习重建和优化这些标记，利用显式的自注意力和交叉注意力模块进行多模态条件处理。用户可以提供自由格式的文本提示和选定时间戳的RGB观察，作为稀疏视觉关键帧条件，从而生成连贯的中间轨迹。此外，我们还策划了RealEstate10K-Cap，一个大规模文本-相机数据集，并建立了跨领域基准。实验表明，TKCAM在Fréchet距离（FID）、文本-运动匹配分数和检索指标（R@K）上超越了最新的基线。

🔬 方法详解

问题定义：本文旨在解决高质量和可控相机运动生成的问题。现有方法在处理复杂场景时，往往无法提供足够的灵活性和准确性，导致生成效果不理想。

核心思路：TKCAM的核心思路是结合文本提示和关键帧信息，通过生成掩模建模来合成相机运动。这种设计使得生成过程能够更好地理解用户意图，并生成连贯的运动轨迹。

技术框架：TKCAM采用两阶段的掩模变换器架构，首先通过残差向量量化器将相机动态表示为12维运动特征，然后学习重建和优化这些特征。该框架包含显式的自注意力和交叉注意力模块，以实现多模态条件处理。

关键创新：TKCAM的主要创新在于稀疏视觉关键帧条件的引入，用户可以通过文本和RGB观察提供局部视觉指导，从而生成更为连贯的中间轨迹。这一方法与传统的相机运动生成方法有本质区别。

关键设计：在技术细节上，TKCAM使用了12维的运动特征表示，包括位置、速度和连续旋转表示。损失函数设计上，采用了多模态条件损失，以确保生成结果的质量和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TKCAM在Fréchet距离（FID）上显著优于现有基线，文本-运动匹配分数和检索指标（R@K）也显示出明显的提升，验证了其在生成相机运动方面的有效性和优越性。

🎯 应用场景

TKCAM的研究成果在多个领域具有潜在应用价值，包括AI辅助电影制作、虚拟现实中的场景生成以及视频合成等。通过提供高质量的相机运动生成，TKCAM能够提升内容创作的效率和效果，推动相关技术的发展和应用。

📄 摘要（原文）

Generating high-quality and controllable camera motion is essential for AI-assisted cinematography, video synthesis, and 3D scene understanding. We introduce TKCAM, a Text- and Keyframe-conditioned CAMera-motion synthesis framework based on generative masked modeling. We represent camera dynamics using a 12-dimensional kinematic feature comprising position, velocity, and a continuous rotation representation and discretize them into hierarchical motion tokens via a Residual Vector Quantizer (RVQ). A two-stage masked transformer architecture then learns to reconstruct and refine these tokens, utilizing explicit self- and cross-attention modules for multimodal conditioning. A central feature of our framework is sparse visual keyframe conditioning: users can provide free-form text prompts together with RGB observations at selected timestamps, which provide temporally localized visual guidance for generating coherent in-between trajectories. Furthermore, to advance evaluation standards, we curate RealEstate10K-Cap, a large-scale text-camera dataset, and establish a cross-domain benchmark with a Universal CLaTr Evaluator. Extensive experiments demonstrate that TKCAM surpasses recent state-of-the-art baselines on Fréchet distance (FID), text-motion matching scores, and retrieval metrics (R@K), while additional analyses evaluate temporal smoothness and cross-domain generalization. Code is available at https://github.com/linearalgebrayhz/TKCAM.