HyperGS: Fast and Generalizable Gaussian Video Representation

📄 arXiv: 2607.11500v1 📥 PDF

作者: Fatimah Zohra, Chen Zhao, Shuming Liu, Yahya Al Malallah, Bernard Ghanem

分类: cs.CV

发布日期: 2026-07-13

💡 一句话要点

提出HyperGS以解决视频编码速度慢和泛化能力差的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频表示 Gaussian Splatting 前馈网络 时空Transformer 视频编码 泛化能力 高分辨率渲染

📋 核心要点

  1. 现有的Gaussian Splatting方法依赖于逐视频优化，导致编码速度缓慢且难以泛化到不同视频。
  2. HyperGS通过前馈预测直接生成Gaussian表示，避免了逐视频优化，从而显著提高了编码效率。
  3. 在多个数据集上，HyperGS的PSNR性能提升了2.9至3.1 dB，同时保持了较小的视频表示尺寸。

📝 摘要（中文）

Gaussian Splatting已成为视频表示的有效方法，但现有技术依赖于逐视频优化，导致编码速度慢且泛化能力有限。为了解决这一问题，本文提出HyperGS，这是一种前馈、无优化的方法，能够在单次前向传递中直接预测视频的Gaussian表示，从而显著加快编码和解码速度，并在更高分辨率下实现对分布外视频的泛化。HyperGS设计了一个分解的时空Transformer来提取视频中的tokens，并通过可学习的查询基础Transformer为每帧视频获取8参数的Gaussian表示。实验结果表明，HyperGS在K400、SSv2和UCF101数据集上，相较于现有视频编码器，PSNR提升了2.9至3.1 dB，同时视频表示大小更小。

🔬 方法详解

问题定义：现有的Gaussian Splatting方法需要对每个视频进行单独优化，导致编码速度慢且难以适应不同视频的特征，限制了其在实际应用中的有效性。

核心思路：HyperGS通过设计一个前馈网络，直接从视频中预测Gaussian表示，避免了逐视频优化的复杂性，从而提高了编码和解码的速度和泛化能力。

技术框架：HyperGS的整体架构包括一个分解的时空Transformer用于提取视频tokens，以及一个可学习的查询基础Transformer用于生成每帧的8参数Gaussian表示。

关键创新：HyperGS的核心创新在于引入了一种动态适应的基于秩的几何正则化器，解决了在多样视频中预测Gaussian时可能出现的训练崩溃问题，这一设计显著提升了模型的稳定性。

关键设计：在模型设计中，采用了动态调整的正则化强度，以适应不同视频的特征，同时确保了生成的Gaussian表示在重建质量上与逐视频优化相匹配。该方法在编码速度上达到了每视频优化的10^4至10^5倍。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HyperGS在K400、SSv2和UCF101数据集上，相较于现有视频编码器，PSNR提升了2.9至3.1 dB，同时视频表示尺寸更小，编码速度提升达到每视频优化的10^4至10^5倍，展现了显著的性能优势。

🎯 应用场景

HyperGS的研究成果在视频编码、流媒体传输和高分辨率视频渲染等领域具有广泛的应用潜力。其快速且高效的编码能力使其适用于实时视频处理和大规模视频数据分析，未来可能推动视频内容创作和分发的变革。

📄 摘要（原文）

Gaussian Splatting has emerged as an effective representation for video, but existing methods rely on per-video optimization. This leads to slow encoding and limits generalization across videos. To amortize this optimization, we propose HyperGS, a feedforward, optimization-free approach that directly predicts Gaussian representations from any video in a single forward pass, speeding up encoding and decoding by orders of magnitude while generalizing to out-of-distribution videos at higher resolutions. In HyperGS, we design a factorized spatiotemporal Transformer to extract tokens from video, and a learnable query-based Transformer to obtain 8-parameter Gaussian representations for each video frame. We find that naively predicting Gaussians across diverse videos induces a needle-like degeneration that collapses training, and address this with a rank-based geometric regularizer whose strength adapts dynamically to stabilize optimization. HyperGS achieves encoding at $10^4$--$10^5\times$ the speed of per-video Gaussian optimization at matched reconstruction quality while generalizing zero-shot to $720p$ video, enabling higher-resolution rendering without re-encoding. HyperGS improves PSNR by +2.9--3.1 dB over the prior video encoders on K400, SSv2, and UCF101 at a smaller video representation size. By predicting explicit 2D Gaussians in a single forward pass, HyperGS combines the fast, flexible rendering of Gaussian Splatting with the speed and generalization of feedforward prediction, advancing Gaussians as a practical direction for fast and generalizable video representation.