UniDynamics: Event-RGB Fusion for Unified Future 4D Dynamic Scene Generation

📄 arXiv: 2610.03473v1 📥 PDF

作者: Daikun Liu, Xin Zhan, Teng Wang, Xiaoping Wang, Changyin Sun

分类: cs.CV

发布日期: 2026-10-02

备注: 19 pages, 6 figures, conference, code: https://github.com/KK-xi/Unidynamics

期刊: ECCV2026

💡 一句话要点

提出UniDynamics以解决未来4D动态场景生成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态场景生成 多模态融合 事件流 深度学习 运动预测 扩散模型 时空一致性

📋 核心要点

  1. 现有方法在生成未来动态场景时，通常依赖长时间历史或控制先验，导致生成效果受限。
  2. UniDynamics通过利用事件流作为单RGB外推的运动先验，提出了一种新的生成框架，避免了对长时间历史的依赖。
  3. 在VKitti2和DSEC数据集上，UniDynamics实现了最先进的性能，特别是在高速度运动模糊情况下，生成的场景质量显著提升。

📝 摘要（中文）

我们提出了UniDynamics，这是一个基于扩散的框架，用于从单个事件-RGB对生成未来的4D动态场景（RGB、深度和光流），无需像现有方法那样依赖长时间历史或控制先验，同时明确建模未来运动场。核心思想是利用事件流为单RGB外推提供替代运动先验，并通过多模态建模在生成过程中强制执行几何和运动约束。我们设计了事件潜在增强（ELE）模块，将事件潜在对齐并增强为可注入扩散的条件特征，提供稳健的初始运动先验和可靠的纹理/结构线索。进一步引入的感知动态空间（PDS）嵌入多尺度U-Net中，解耦并自适应交互深度和光流，同时持续反馈约束到外观特征，改善几何-运动一致性，确保物理上合理和时空一致的预测。实验结果表明，在VKitti2和DSEC数据集上，UniDynamics展现了最先进的性能，尤其在高速度运动模糊下生成高质量、时间一致和4D一致的未来预测。

🔬 方法详解

问题定义：本论文旨在解决从单个事件-RGB对生成未来4D动态场景的问题。现有方法通常依赖长时间历史或控制先验，限制了生成的灵活性和准确性。

核心思路：UniDynamics的核心思路是利用事件流作为替代运动先验，结合多模态建模来强制执行几何和运动约束，从而提高生成的物理合理性和时空一致性。

技术框架：该框架主要包括事件潜在增强（ELE）模块和感知动态空间（PDS）。ELE模块负责对齐和增强事件潜在特征，而PDS则嵌入在多尺度U-Net中，解耦深度和光流，并持续反馈约束。

关键创新：UniDynamics的主要创新在于引入了事件潜在增强模块和感知动态空间，这些设计使得生成过程能够更好地捕捉几何和运动信息，与现有方法相比，显著提升了生成质量。

关键设计：在设计中，ELE模块通过对事件潜在特征进行增强，提供了稳健的初始运动先验；PDS则通过自适应交互深度和光流，确保了生成的场景在几何和运动上的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，UniDynamics在VKitti2和DSEC数据集上达到了最先进的性能，生成的未来场景在高速度运动模糊情况下的质量显著提升，具体性能数据未提供，但相较于基线方法有明显的改进。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、虚拟现实和增强现实等场景生成任务。通过提供高质量的动态场景预测，UniDynamics能够在实时系统中提升环境理解和交互体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

We propose UniDynamics, a diffusion-based framework for future 4D dynamic scenes (RGB, depth, and optical flow) generation from a single event-RGB pair, without requiring long histories or control priors as in existing methods, while explicitly modeling future motion fields. The core idea is to leverage event streams to offer an alternative motion prior for single-RGB extrapolation, and to enforce geometric and motion constraints throughout generation via multimodal modeling. Specifically, we design an Event Latent Enhancement (ELE) module to align and enhance event latents into diffusion-injectable conditioning features, providing robust initial motion priors and reliable texture/structure cues. We further introduce a Perceptual Dynamics Space (PDS) embedded in the multi-scale U-Net, which decouples and adaptively interacts depth and flow while continuously feeding back constraints to appearance features, improving geometric-motion consistency for physically plausible and spatiotemporally coherent prediction. Experiments on VKitti2 and DSEC demonstrate state-of-the-art performance, producing high-quality, temporally coherent, and 4D-consistent future predictions, especially under challenging high-speed motion blur.