DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time

📄 arXiv: 2609.35704v1 📥 PDF

作者: Ma Ziqi, Chen Hongqiao, Gkioxari Georgia

分类: cs.CV

发布日期: 2026-09-28

备注: Project website: https://glab-caltech.github.io/dynatokens/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DynaTokens以解决动态场景下视频生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频生成 动态场景 相机控制 可学习令牌 跨注意力机制 计算机视觉 深度学习

📋 核心要点

  1. 现有相机控制视频生成模型在动态场景中表现不佳，导致生成的物体静止或运动不当。
  2. DynaTokens通过引入可学习的场景特定令牌，利用跨注意力机制教授动态，解决了动态场景下的生成问题。
  3. 实验结果显示，DynaTokens在多个评估指标上超越了现有的基线方法，提升了动态与相机运动的平衡效果。

📝 摘要（中文）

视频生成必须考虑两种运动来源：观察者的相机路径和场景动态。理想的相机控制视频模型应同时处理这两种运动。然而，现有模型在动态场景中表现不佳，导致物体静止、运动不当或生成质量下降。为此，本文提出DynaTokens，一组轻量级的可学习场景特定令牌，旨在为现有的相机控制世界模型教授动态。DynaTokens通过跨注意力机制，从少量示例轨迹中训练可学习令牌，同时保持基础模型不变，从而在新的查询相机路径下实现动态效果。实验结果表明，DynaTokens在VBench2和WorldScore评估中优于LoRA、块微调和专门的可训练层基线。

🔬 方法详解

问题定义：本文旨在解决现有相机控制视频生成模型在动态场景中的不足，尤其是物体运动不当和生成质量下降的问题。现有模型在静态设置下表现良好，但在动态场景中却难以处理相机运动与物体动态的结合。

核心思路：DynaTokens的核心思想是引入一组可学习的场景特定令牌，通过跨注意力机制从少量示例轨迹中学习动态信息。这种设计旨在利用相机运动的全局影响与物体动态的局部特性之间的非对称性。

技术框架：DynaTokens的整体架构包括基础相机控制模型和可学习的动态令牌模块。通过冻结基础模型，仅对动态令牌进行训练，使其能够适应新的相机路径。

关键创新：DynaTokens的主要创新在于引入了可学习的场景特定令牌，并通过跨注意力机制实现动态信息的有效学习。这与现有方法的本质区别在于，现有方法通常依赖于全局特征，而DynaTokens则强调局部动态的学习。

关键设计：在DynaTokens中，关键参数设置包括令牌的数量和学习率，损失函数设计为结合生成质量与动态一致性。此外，网络结构中采用了跨注意力机制，以确保动态信息的有效传递和学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DynaTokens在VBench2和WorldScore评估中表现优异，相较于LoRA和块微调等基线方法，显著提升了动态与相机运动的平衡效果，具体性能提升幅度未知。

🎯 应用场景

DynaTokens的研究成果具有广泛的应用潜力，尤其在虚拟现实、游戏开发和电影制作等领域。通过实现更自然的动态场景生成，该技术能够提升用户体验和视觉效果。此外，未来可能在自动驾驶、机器人视觉等领域中发挥重要作用。

📄 摘要（原文）

Video generation must account for two sources of motion, one induced by the observer's camera path and the other caused by scene dynamics. An ideal camera-controlled video model should account for both motions: let users move the camera while evolving the scene dynamics. While current models handle camera-induced motion well in static settings, they struggle for dynamic scenes: objects are static, move incorrectly, or degrade in generation quality. We introduce DynaTokens, a lightweight set of learnable scene-specific tokens that teach dynamics to an existing camera-controlled world model. Our method is motivated by a simple asymmetry between the two sources of motion: whereas camera motion affects the generated view globally, object dynamics are spatially localized. Through cross-attention, DynaTokens trains the learnable tokens from a few example trajectories for a scene while keeping the base model frozen, and enables dynamics under new query camera paths. DynaTokens achieves a better simultaneous dynamics-camera tradeoff on VBench2 and WorldScore evaluations than LoRA, block finetuning, and specialized trainable-layer baselines. Analyses of token attention, ablations, and motion temporality suggest that matching the trainable interface to the structure of the learning target is important for effective adaptation. Project website: https://glab-caltech.github.io/dynatokens/