Distortion-Aware Spatiotemporal Learning for Real-Time Wide-Angle Video Rectification

📄 arXiv: 2610.32500v1 📥 PDF

作者: Lang Nie, Yihan Yang, Wenbo Nie, Hongguang Zhu, Yang Wei, Chunyu Lin, Bin Xiao

分类: cs.CV

发布日期: 2026-10-23

备注: 9 pages, 7 figures

💡 一句话要点

提出FastVC以解决广角视频畸变问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 广角视频 视频矫正 时空学习 畸变感知 实时处理 计算机视觉 薄板样条 深度学习

📋 核心要点

  1. 现有方法主要集中于面部区域，计算成本高且缺乏时间建模，导致全身矫正不完整和明显的帧间抖动。
  2. 本文提出FastVC框架，利用畸变感知的薄板样条模块和双层时空学习方案，实现高效的全身视频矫正。
  3. 实验结果显示，FastVC在57.0 FPS下达到了最先进的矫正保真度和视觉稳定性，显著提升了实时性能。

📝 摘要（中文）

广角镜头虽然提供了更广的视野，但在图像边缘处会出现严重的非线性畸变，使得人物看起来不自然。现有方法主要集中于面部区域，计算成本高且缺乏时间建模，导致全身矫正不完整、实时部署不切实际以及明显的帧间抖动。为了解决这些问题，本文提出了FastVC，一个高效的全身视频矫正框架，基于畸变感知的时空学习。FastVC引入了畸变感知薄板样条（DA-TPS）模块，能够在不增加计算成本的情况下更准确地进行几何拟合。此外，本文还开发了双层时空学习方案，实现因果和稳定的视频矫正。实验结果表明，FastVC在57.0 FPS下实现了最先进的矫正保真度和视觉稳定性。

🔬 方法详解

问题定义：本文旨在解决广角镜头视频中的严重非线性畸变问题，现有方法在全身矫正和实时性方面存在不足，导致效果不理想。

核心思路：提出FastVC框架，通过畸变感知的薄板样条（DA-TPS）模块实现更准确的几何拟合，同时采用双层时空学习方案，增强视频矫正的因果性和稳定性。

技术框架：FastVC的整体架构包括畸变感知模块和双层时空学习模块。畸变感知模块负责非线性重映射，时空学习模块则通过邻域时空注意力和稀疏时空监督实现高效的特征融合和优化。

关键创新：最重要的创新在于引入了DA-TPS模块，使得控制点的布局更加密集，从而提高了几何拟合的精度，且不增加计算开销。

关键设计：在模型层面，使用邻域时空注意力（NST）聚合局部上下文，选择性融合历史特征；在优化层面，稀疏时空监督仅对锚帧进行空间对齐，从而解耦了帧间精度与时间稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FastVC在57.0 FPS下实现了最先进的矫正保真度和视觉稳定性，相较于现有方法，显著提高了实时性能和视觉效果，展示了其在广角视频处理中的优势。

🎯 应用场景

该研究的潜在应用领域包括实时视频监控、虚拟现实和增强现实等场景，能够有效提升广角视频的视觉质量和用户体验。随着技术的进步，FastVC有望在多种视频处理任务中发挥重要作用，推动相关领域的发展。

📄 摘要（原文）

While wide-angle lenses provide an expanded field of view (FoV), they exhibit severe nonlinear distortion near image boundaries, unnaturally stretching people in these regions. Existing methods mostly focus on facial regions, require high computational costs, and lack temporal modeling, resulting in incomplete full-body rectification, impractical real-time deployment, and noticeable inter-frame shakes. To tackle these issues, we propose \textbf{FastVC}, an efficient full-body video rectification framework driven by distortion-aware spatiotemporal learning. Grounded in lens physics, FastVC introduces a distortion-aware thin-plate spline (DA-TPS) module that nonlinearly remaps control points into a peripheral-dense layout, enabling more accurate geometric fitting without additional computational cost. We further develop a dual-level spatiotemporal learning scheme for causal and stable video rectification. At the model level, neighborhood spatiotemporal attention (NST) aggregates local context and selectively fuses historical features with low overhead. At the optimization level, sparse spatiotemporal supervision applies spatial alignment only to anchor frames, decoupling frame-wise accuracy from temporal stability. Besides, we contribute the first benchmark dataset for wide-angle full-body video correction. Extensive experiments show that FastVC achieves state-of-the-art rectification fidelity and visual stability at 57.0 FPS.