Lie Flow: Video Dynamic Fields Modeling and Predicting with Lie Algebra as Geometric Physics Principle

📄 arXiv: 2602.21645v1 📥 PDF

作者: Weidong Qiao, Wangmeng Zuo, Hui Li

分类: cs.CV

发布日期: 2026-02-25

备注: 10pages,5 figures

💡 一句话要点

LieFlow：利用李代数几何物理原理建模和预测视频动态场

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 动态场景建模 神经辐射场 李群 SE(3) 运动估计 视图合成 几何一致性 物理真实感

📋 核心要点

  1. 现有动态场景建模方法难以处理旋转和铰接运动，导致空间不一致和不真实的物理效果。
  2. LieFlow在SE(3)李群中显式建模运动，统一学习平移和旋转，保证运动连续性和几何一致性。
  3. 实验表明，LieFlow在合成和真实数据集上，显著提升了视图合成质量、时间连贯性和物理真实性。

📝 摘要（中文）

对4D场景进行建模需要同时捕捉空间结构和时间运动，这是一项具有挑战性的任务，因为它需要对复杂的刚性和非刚性运动进行物理上一致的表示。现有的方法主要依赖于平移位移，难以表示旋转和铰接变换，常常导致空间不一致和物理上不合理的运动。本文提出了LieFlow，一个动态辐射表示框架，它显式地在SE(3)李群中对运动进行建模，从而能够在统一的几何空间中连贯地学习平移和旋转。SE(3)变换场强制执行物理启发的约束，以保持运动的连续性和几何一致性。评估包括一个具有刚体轨迹的合成数据集和两个在自然光照和遮挡下捕捉复杂运动的真实世界数据集。在所有数据集中，LieFlow始终如一地提高了基于NeRF的基线的视图合成保真度、时间连贯性和物理真实感。这些结果证实，基于SE(3)的运动建模为表示动态4D场景提供了一个鲁棒且具有物理基础的框架。

🔬 方法详解

问题定义：现有动态场景建模方法，特别是基于平移位移的方法，在处理包含旋转和铰接运动的复杂场景时存在局限性。这些方法难以保证空间一致性和物理真实性，导致合成的视频在时间上不连贯，视觉效果不自然。因此，需要一种能够有效建模复杂运动，并保证物理合理性的动态场景表示方法。

核心思路：LieFlow的核心思路是将运动建模在SE(3)李群中进行，利用李群的性质来保证运动的连续性和几何一致性。通过显式地建模旋转和平移，LieFlow能够更准确地捕捉复杂运动，并避免传统方法中出现的空间不一致问题。这种基于几何物理原理的方法能够生成更真实、更连贯的动态场景。

技术框架：LieFlow框架主要包含以下几个模块：1) 一个基于NeRF的静态场景表示模块，用于编码场景的几何和外观信息；2) 一个SE(3)变换场，用于建模场景中每个点的运动轨迹；3) 一个渲染模块，用于将静态场景表示和运动信息结合起来，生成动态场景的图像。整个框架通过端到端的方式进行训练，以优化视图合成的质量。

关键创新：LieFlow最重要的技术创新点在于使用SE(3)李群来建模运动。与传统的基于平移位移的方法相比，SE(3)李群能够更自然地表示旋转和平移，并保证运动的连续性和几何一致性。此外，LieFlow还引入了物理启发的约束，进一步提高了运动的真实感。

关键设计：LieFlow的关键设计包括：1) 使用指数映射将李代数元素映射到SE(3)群中的变换矩阵，从而保证运动的连续性；2) 设计了一种损失函数，鼓励SE(3)变换场的光滑性和一致性；3) 使用了一种基于体渲染的技术，将静态场景表示和运动信息结合起来，生成动态场景的图像。具体的网络结构和参数设置在论文中有详细描述。

📊 实验亮点

LieFlow在合成数据集和真实数据集上都取得了显著的性能提升。在合成数据集上，LieFlow能够准确地重建刚体的运动轨迹。在真实数据集上，LieFlow在视图合成质量、时间连贯性和物理真实感方面都优于基于NeRF的基线方法。具体而言，LieFlow在PSNR、SSIM和LPIPS等指标上都取得了显著的提升。

🎯 应用场景

LieFlow具有广泛的应用前景，例如：虚拟现实/增强现实(VR/AR)、游戏开发、电影特效、机器人导航和控制等。它可以用于生成逼真的动态场景，提高用户体验，并为机器人提供更准确的环境感知能力。未来，LieFlow可以进一步扩展到处理更复杂的场景，例如：包含形变物体的场景、具有复杂光照效果的场景等。

📄 摘要（原文）

Modeling 4D scenes requires capturing both spatial structure and temporal motion, which is challenging due to the need for physically consistent representations of complex rigid and non-rigid motions. Existing approaches mainly rely on translational displacements, which struggle to represent rotations, articulated transformations, often leading to spatial inconsistency and physically implausible motion. LieFlow, a dynamic radiance representation framework that explicitly models motion within the SE(3) Lie group, enabling coherent learning of translation and rotation in a unified geometric space. The SE(3) transformation field enforces physically inspired constraints to maintain motion continuity and geometric consistency. The evaluation includes a synthetic dataset with rigid-body trajectories and two real-world datasets capturing complex motion under natural lighting and occlusions. Across all datasets, LieFlow consistently improves view-synthesis fidelity, temporal coherence, and physical realism over NeRF-based baselines. These results confirm that SE(3)-based motion modeling offers a robust and physically grounded framework for representing dynamic 4D scenes.