4LC: 4D Latent Cache for Efficient Conditioning in Dynamic World Modeling

📄 arXiv: 2610.17625v1 📥 PDF

作者: Jianhui Zhang, Zuyao Lin, Pengxin Xu, Jingdong Wang, Xingyu Chen

分类: cs.CV, cs.AI

发布日期: 2026-10-13

备注: Project page: https://zgca-hmi-lab.github.io/4LC

💡 一句话要点

提出4LC以解决动态世界建模中的视频生成效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 动态世界建模 视频生成 潜在缓存 复合视觉表示 时空接口 多模态生成 生成效率 场景一致性

📋 核心要点

  1. 现有方法在动态世界建模中面临静态和动态内容重用效率低的问题，导致视频生成的时间和资源消耗较大。
  2. 论文提出4LC，通过4D潜在缓存直接重用视觉表示，避免了重复的RGB渲染，提升了生成效率。
  3. 实验结果显示，4LC-Video在多个视频生成任务中表现出更高的条件获取效率和时空可控性，且无需任务特定的微调。

📝 摘要（中文）

为了在动态世界建模中进行视频生成，观察到的静态和动态内容需要高效重用，以便在不同时间和视角下提供生成条件。我们提出了4LC，一个具有复合视觉表示和灵活时空访问接口的4D潜在缓存。作为潜在缓存，4LC直接重用静态和动态内容的视觉表示，避免了每次请求的RGB渲染和重新编码。作为复合缓存，4LC将来自多个视觉编码器的视觉表示绑定到共享几何和运动上，使复合表示能够丰富地描述动态世界。此外，我们设计了一个灵活的时空接口，可以在独立指定的时间和视角直接读取缓存，并跨观察合并读取结果，为多样的下游任务提供统一的条件格式。基于4LC，我们开发了4LC-Video，通过不同的源观察、时空请求和历史重用配置来解决多个视频生成任务，包括相机控制、时间控制、新视角合成、场景重访和长期生成。实验表明，使用单个4LC-Video模型在没有任务特定微调的情况下，条件获取更高效，时空可控性更强，场景一致性更好。

🔬 方法详解

问题定义：本论文旨在解决动态世界建模中视频生成的效率问题，现有方法在静态和动态内容的重用上存在不足，导致生成过程中的时间和资源浪费。

核心思路：论文提出4LC，作为4D潜在缓存，直接重用静态和动态内容的视觉表示，避免了每次请求的RGB渲染和重新编码，从而提高了生成效率。

技术框架：4LC的整体架构包括多个模块，首先是视觉编码器（如VAE、DINO等），用于生成视觉表示；其次是复合缓存模块，将这些表示绑定到共享几何和运动上；最后是灵活的时空接口，允许在指定时间和视角下读取缓存。

关键创新：4LC的主要创新在于其复合缓存机制和灵活的时空访问接口，使得动态世界的生成条件可以高效获取，显著提高了生成的灵活性和一致性。

关键设计：在设计中，4LC结合了多种视觉编码器的输出，采用共享几何和运动的方式来增强表示的丰富性，此外，时空接口的设计允许用户根据需求灵活访问缓存数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，4LC-Video在多个视频生成任务中，条件获取效率提高了显著，时空可控性增强，且在场景一致性方面表现优异，所有这些均在不进行任务特定微调的情况下实现。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发和影视制作等，能够为动态场景的生成提供高效的解决方案。未来，4LC的技术可以扩展到更广泛的多模态生成任务中，提升生成内容的质量和效率。

📄 摘要（原文）

For video generation in dynamic world modeling, observed static and dynamic content should be efficiently reused to provide conditions for repeated generation at different times and viewpoints. We introduce 4LC, a 4D latent cache with composite visual representations and a flexible spatiotemporal access interface. As a latent cache, 4LC directly reuses visual representations of static and dynamic content to provide generation conditions, avoiding per-request RGB rendering and re-encoding. As a composite cache, 4LC binds visual representations from multiple visual encoders (e.g., VAE, DINO, V-JEPA, VGGT) to shared geometry and motion, allowing the composite representations to describe the dynamic world with rich information. Besides, we design a flexible spatiotemporal interface, which directly reads the cache at independently specified times and viewpoints and combines readouts across observations, providing a common conditioning format for diverse downstream tasks. Building on 4LC, we develop 4LC-Video to address multiple video generation tasks through different configurations of source observations, spatiotemporal requests, and historical reuse, including camera control, temporal control, novel-view synthesis, scene revisits, and long-term generation. Our experiments show more efficient condition acquisition, effective spatiotemporal controllability, and scene consistency across tasks using a single 4LC-Video model without task-specific fine-tuning.