Adaptive Anchor Policies for Efficient 4D Gaussian Streaming

📄 arXiv: 2603.17227v1 📥 PDF

作者: Ashim Dahal, Rabab Abdelfattah, Nick Rahimi

分类: cs.CV

发布日期: 2026-03-18

💡 一句话要点

提出高效的锚点策略以解决4D高斯流媒体问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景重建 高斯流媒体 强化学习 锚点选择 实时渲染 视频处理

📋 核心要点

  1. 现有的动态场景重建方法通常使用固定数量的锚点，导致在复杂场景中计算资源的浪费。
  2. 本文提出了一种基于强化学习的高效锚点采样策略，动态选择锚点预算和信息丰富的锚点。
  3. 实验结果显示，EGS在快速渲染和高质量优化中均优于传统的FPS方法，显著提升了重建质量和运行效率。

📝 摘要（中文）

动态场景重建结合高斯点云技术实现了实时渲染和自由视角视频的高效流媒体处理。然而，现有方法通常依赖固定的锚点选择策略，如最远点采样（FPS），在场景复杂度变化时会导致计算资源的浪费。本文提出了一种高效高斯流媒体（EGS）方法，采用强化学习策略替代FPS，动态选择锚点预算和信息丰富的锚点，从而在重建质量和运行时间之间取得平衡。实验结果表明，EGS在快速渲染和高质量优化场景中均表现出优于FPS的性能，尤其在未见数据上，EGS在256个锚点下比8192个锚点的基线提高了0.52至0.61 dB的PSNR，同时运行速度提升了1.29至1.35倍。

🔬 方法详解

问题定义：本文旨在解决动态场景重建中锚点选择的固定性问题，现有方法如最远点采样（FPS）在复杂场景下会导致计算资源的浪费，无法有效利用有限的预算。

核心思路：提出高效高斯流媒体（EGS）方法，通过强化学习策略动态选择锚点预算和信息丰富的锚点，保持高斯流媒体重建的主干不变，从而在重建质量和运行时间之间取得平衡。

技术框架：EGS方法包括两个主要模块：首先是锚点预算的选择，其次是在给定预算下选择最具信息量的锚点。该方法利用高斯表示的空间特征进行决策。

关键创新：EGS的核心创新在于采用强化学习策略替代固定的锚点选择方法，能够根据场景复杂度动态调整锚点数量，从而优化计算效率和重建质量。

关键设计：在EGS中，设计了适应性锚点选择策略，结合了空间特征的利用，确保在不同场景下均能有效选择锚点，同时设置了合理的损失函数以平衡重建质量与运行时间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，EGS在未见数据上以256个锚点（比8192个锚点少32倍）实现了PSNR提升0.52至0.61 dB，同时运行速度比基线IGS@8192快1.29至1.35倍，显示出其在快速渲染和高质量优化中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括实时视频渲染、虚拟现实和增强现实等场景，能够显著提升动态场景的重建效率和质量。随着技术的进步，EGS方法有望在多视角视频处理和高效数据流传输中发挥重要作用，推动相关领域的发展。

📄 摘要（原文）

Dynamic scene reconstruction with Gaussian Splatting has enabled efficient streaming for real-time rendering and free-viewpoint video. However, most pipelines rely on fixed anchor selection such as Farthest Point Sampling (FPS), typically using 8,192 anchors regardless of scene complexity, which over-allocates computation under strict budgets. We propose Efficient Gaussian Streaming (EGS), a plug-in, budget-aware anchor sampler that replaces FPS with a reinforcement-learned policy while keeping the Gaussian streaming reconstruction backbone unchanged. The policy jointly selects an anchor budget and a subset of informative anchors under discrete constraints, balancing reconstruction quality and runtime using spatial features of the Gaussian representation. We evaluate EGS in two settings: fast rendering, which prioritizes runtime efficiency, and high-quality refinement, which enables additional optimization. Experiments on dynamic multi-view datasets show consistent improvements in the quality--efficiency trade-off over FPS sampling. On unseen data, in fast rendering at 256 anchors ($32\times$ fewer than 8,192), EGS improves PSNR by $+0.52$--$0.61$\,dB while running $1.29$--$1.35\times$ faster than IGS@8192 (N3DV and MeetingRoom). In high-quality refinement, EGS remains competitive with the full-anchor baseline at substantially lower anchor budgets. \emph{Code and pretrained checkpoints will be released upon acceptance.} \keywords{4D Gaussian Splatting \and 4D Gaussian Streaming \and Reinforcement Learning}