SVI360: Spherical Video Interpolation

📄 arXiv: 2607.11710v1 📥 PDF

作者: Le-Kim Nguyen, Renato Martins, Pascal Vasseur, Cedric Demonceaux

分类: cs.CV

发布日期: 2026-07-13

备注: Accepted at ECCV 2026. Code and trained models are available at: https://icb-vision-ai.github.io/video360_interpolation/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SVI360以解决全景视频插值问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 全景视频 视频插值 虚拟现实 光流估计 深度学习 图像处理 计算机视觉

📋 核心要点

  1. 现有视频插值方法在处理全景视频时存在严重失真问题，特别是在极地附近，导致插值质量下降。
  2. SVI360通过双分支框架结合图像帧和其旋转正交视图，增强流位移的等变性，从而改善插值效果。
  3. 实验结果显示，SVI360在插值质量上优于现有方法，并在多个基准测试中保持了光流的准确性。

📝 摘要（中文）

本文针对全景视频插值问题进行了研究，该问题在虚拟现实和沉浸式视频增强等应用中至关重要。现有的视频插值方法在处理球形视频时表现不佳，尤其是在极地附近的严重失真处理上。为了解决这一问题，我们提出了SVI360，一个双分支框架，结合了图像帧及其旋转正交视图，以应对这些失真。该方法的核心在于增强原始视图与正交视图之间流位移的等变性，从而提高中间帧的预测精度。实验表明，我们的方法在插值质量上超越了现有的最先进方法，并在四个公共基准测试中保持了准确的光流。代码和预训练模型可在：https://icb-vision-ai.github.io/video360_interpolation/获取。

🔬 方法详解

问题定义：本文旨在解决全景视频插值中的失真问题，现有方法在极地附近的处理效果不佳，导致插值质量下降。

核心思路：SVI360的核心思路是通过双分支框架结合图像帧和其旋转正交视图，强化流位移的等变性，以提高中间帧的预测精度。

技术框架：该方法的整体架构包括两个主要模块：一个用于处理原始图像帧，另一个用于处理旋转后的正交视图。通过这两个模块的协同工作，增强了对失真的处理能力。

关键创新：SVI360的主要创新在于引入了双分支框架和流位移等变性的强化，这与现有方法的单一视图处理方式形成了本质区别。

关键设计：在设计中，SVI360采用了特定的损失函数来优化中间帧的预测，同时在网络结构上进行了调整，以适应全景视频的特性。具体的参数设置和网络架构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SVI360在插值质量上超越了现有的最先进方法，具体在四个公共基准测试中，插值效果显著提升，光流的准确性也得到了有效保持。这些结果展示了SVI360在全景视频插值领域的优越性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和沉浸式视频制作等。通过提高全景视频的插值质量，SVI360能够显著提升用户体验，推动相关技术的发展和应用。未来，随着全景视频技术的普及，该方法的实际价值将愈加显著。

📄 摘要（原文）

This paper addresses the problem of omnidirectional video interpolation, which plays an essential role in applications such as virtual reality and immersive video enhancement. Existing video interpolation methods are not well-suited for spherical videos, as they have difficulty handling severe distortions close to the poles. To address this issue, we propose SVI360, a dual-branch framework that combines the image frame and its rotated orthogonal view to deal with these distortions. The core methodological aspect of the approach is to reinforce equivariance of the flow displacements between the original and orthogonal views to improve intermediate frame prediction. Experiments show that our method outperforms state-of-the-art approaches in interpolation quality while maintaining accurate optical flow in four different public benchmarks. Code and pre-trained models are available at: https://icb-vision-ai.github.io/video360_interpolation/