SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models
作者: Xi Ye, Yuzhu Wang, Xiaoyang Liu, Jiayi Wang, Yangyang Xu, Ruyu Wang, Wenlin Chen, Duo Su, Jun Zhu
分类: cs.CV
发布日期: 2026-10-02
💡 一句话要点
提出SymRegFlow以解决多视角视频生成中的相机姿态变化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多视角视频生成 流匹配 对称正则化 自动驾驶 计算机视觉 深度学习
📋 核心要点
- 现有的流匹配多视角世界模型通常依赖固定相机设备，难以适应连续变化的相机姿态，且获取配对的姿态-视频观测成本高昂。
- SymRegFlow通过对称正则化流匹配框架，利用几何变换和掩蔽双锚监督，解决了多视角一致性问题，避免了对真实RGB监督的依赖。
- 在nuScenes数据集上，SymRegFlow相较于最佳基线，FVD降低超过31%，并在FID和实例保留方面表现最佳，显示出显著的性能提升。
📝 摘要（中文）
基于流匹配的多视角世界模型能够生成逼真的视频，但通常受限于固定的相机设备。扩展到连续变化的相机姿态需要配对的姿态-视频观测，获取成本高昂。本文提出了SymRegFlow，一个对称正则化流匹配框架，旨在无需真实RGB监督的情况下，实现多视角一致的视频生成。针对每个目标姿态，SymRegFlow通过几何变换源视图为噪声锚点，并结合掩蔽的双锚监督与交叉锚去噪输出一致性，以减轻锚特定的误差。在仿射高斯代理下，证明了适当的一致性正则化能够在固定噪声水平下恢复干净的参考最优解，严格优于单锚和合并锚的基线。实验结果表明，SymRegFlow在Cosmos-Drive-Dreams和nuScenes上实现了高质量的多视角一致的自动驾驶视频生成。
🔬 方法详解
问题定义：本文旨在解决多视角视频生成中相机姿态变化的问题，现有方法通常依赖固定相机设备，难以适应动态场景，且获取配对的姿态-视频观测成本高昂。
核心思路：SymRegFlow框架通过对称正则化流匹配，利用几何变换将源视图变换为噪声锚点，并结合掩蔽双锚监督与交叉锚去噪输出一致性，减轻锚特定的误差，从而实现多视角一致性。
技术框架：整体架构包括源视图的几何变换、噪声锚点生成、掩蔽双锚监督和交叉锚去噪输出一致性四个主要模块，形成一个闭环的优化过程。
关键创新：最重要的创新在于引入对称正则化流匹配，能够在没有真实RGB监督的情况下，利用一致性正则化恢复干净的参考最优解，显著优于传统的单锚和合并锚方法。
关键设计：在损失函数设计上，结合了掩蔽双锚监督和交叉锚去噪输出一致性，确保了模型在不同锚点之间的输出一致性，优化了生成质量。
🖼️ 关键图片
📊 实验亮点
在nuScenes数据集上，SymRegFlow实现了最低的FVD和FVMD，相较于最佳基线，FVD降低超过31%。此外，源条件推断在FID和实例保留方面也表现最佳，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、虚拟现实和增强现实等场景，能够为动态环境中的视频生成提供高质量的解决方案。未来，SymRegFlow可能推动多视角视频生成技术的发展，提升相关领域的应用效果与用户体验。
📄 摘要（原文）
Flow-matching-based multi-view world models generate realistic videos, but are commonly restricted to fixed camera rigs. Extending them to continuously varying camera poses requires paired pose--video observations with dense pose coverage, which are costly to acquire. We introduce \emph{SymRegFlow}, a symmetry-regularized flow-matching framework for multi-view-consistent video generation across continuous viewpoints without ground-truth novel-view RGB supervision. For each target pose, SymRegFlow geometrically warps source views into noisy anchors and combines masked dual-anchor supervision with cross-anchor denoising-output consistency to mitigate anchor-specific errors. Under an affine Gaussian surrogate, we prove that suitable consistency regularization recovers the clean-reference optimum at fixed noise levels, strictly outperforming single- and merged-anchor baselines. Experiments on Cosmos-Drive-Dreams and nuScenes demonstrate high-quality, multi-view-consistent autonomous-driving video generation: on nuScenes, SymRegFlow achieves the lowest FVD and FVMD among the evaluated baselines, reducing FVD by over 31\% relative to the best baseline, and source-conditioned inference also attains the best FID and instance preservation.