V^3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians

📄 arXiv: 2409.13648v2 📥 PDF

作者: Penghao Wang, Zhirui Zhang, Liao Wang, Kaixin Yao, Siyuan Xie, Jingyi Yu, Minye Wu, Lan Xu

分类: cs.CV, cs.GR

发布日期: 2024-09-20 (更新: 2024-09-23)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

V^3：通过可流式2D动态高斯实现移动端高质量体积视频渲染

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 体积视频 动态3D高斯 移动渲染 视频流 硬件解码 两阶段训练 运动解耦

📋 核心要点

  1. 现有动态3D高斯方法渲染质量高，但计算和带宽限制使其难以在移动设备上流式传输。
  2. V^3将动态3D高斯视为2D视频，利用硬件视频编解码器进行高效流式传输和渲染。
  3. 两阶段训练策略解耦运动和外观，在保证渲染质量的同时，显著降低了存储需求。

📝 摘要（中文）

本文提出V^3 (Viewing Volumetric Videos)，一种新颖的方法，通过流式传输动态高斯，实现在移动设备上进行高质量渲染。核心创新是将动态3D高斯视为2D视频，从而利用硬件视频编解码器。此外，提出了一种两阶段训练策略，以减少存储需求并加快训练速度。第一阶段采用哈希编码和浅层MLP学习运动，然后通过剪枝减少高斯数量以满足流式传输要求；第二阶段使用残差熵损失和时间损失微调其他高斯属性，以提高时间连续性。这种解耦运动和外观的策略，在紧凑的存储需求下保持了高质量的渲染。同时，设计了一个多平台播放器来解码和渲染2D高斯视频。大量实验表明了V^3的有效性，优于其他方法，能够在常见设备上实现高质量的渲染和流式传输，这是前所未有的。作为第一个在移动设备上流式传输动态高斯的方案，我们的配套播放器为用户提供了前所未有的体积视频体验，包括流畅的滚动和即时分享。

🔬 方法详解

问题定义：现有动态3D高斯方法虽然渲染质量高，但计算量大，带宽需求高，难以在移动设备上进行实时流式传输和渲染。这限制了体积视频在移动端的应用。

核心思路：将动态3D高斯场景表示转换为2D视频流，利用成熟的视频编解码技术（如H.264/H.265）进行压缩和传输。这样可以充分利用移动设备的硬件加速能力，实现高效的解码和渲染。核心在于将3D高斯参数编码为2D视频帧。

技术框架：V^3包含两个主要阶段：训练阶段和渲染阶段。训练阶段包括：1) 运动学习和高斯剪枝：使用哈希编码和浅层MLP学习高斯粒子的运动信息，并进行剪枝以减少高斯数量。2) 外观微调：使用残差熵损失和时间损失微调高斯粒子的外观属性，以提高时间连续性。渲染阶段则包括：1) 2D视频解码：使用硬件解码器解码2D高斯视频流。2) 高斯渲染：根据解码后的高斯参数，在移动设备上进行实时渲染。

关键创新：1) 将动态3D高斯表示转换为2D视频流，从而利用硬件视频编解码器进行高效流式传输和渲染。2) 两阶段训练策略，解耦运动和外观，降低存储需求，同时保证渲染质量。3) 多平台播放器，支持在移动设备上流畅播放和分享体积视频。

关键设计：1) 两阶段训练策略：第一阶段侧重于运动学习和高斯剪枝，第二阶段侧重于外观微调，避免了两者之间的相互干扰。2) 残差熵损失：用于约束高斯属性的变化，提高时间连续性。3) 时间损失：用于显式地约束相邻帧之间高斯属性的变化，进一步提高时间连续性。4) 针对移动设备优化的渲染器：采用高效的渲染算法，充分利用移动设备的硬件加速能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

V^3在移动设备上实现了高质量的动态高斯流式传输，这是以前没有实现的。实验表明，V^3在保证渲染质量的同时，显著降低了存储需求和计算复杂度，能够在常见的移动设备上流畅运行。与现有方法相比，V^3在视觉质量和用户体验方面都有显著提升，为移动端体积视频应用开辟了新的可能性。

🎯 应用场景

V^3技术可广泛应用于移动端体积视频的实时渲染和流式传输，例如：移动AR/VR、远程协作、虚拟社交、游戏等。它使得用户可以在移动设备上体验高质量的沉浸式内容，具有重要的商业价值和广阔的应用前景。未来，该技术有望进一步扩展到其他平台，并与其他技术（如5G、云计算）相结合，实现更丰富的应用场景。

📄 摘要（原文）

Experiencing high-fidelity volumetric video as seamlessly as 2D videos is a long-held dream. However, current dynamic 3DGS methods, despite their high rendering quality, face challenges in streaming on mobile devices due to computational and bandwidth constraints. In this paper, we introduce V^3 (Viewing Volumetric Videos), a novel approach that enables high-quality mobile rendering through the streaming of dynamic Gaussians. Our key innovation is to view dynamic 3DGS as 2D videos, facilitating the use of hardware video codecs. Additionally, we propose a two-stage training strategy to reduce storage requirements with rapid training speed. The first stage employs hash encoding and shallow MLP to learn motion, then reduces the number of Gaussians through pruning to meet the streaming requirements, while the second stage fine tunes other Gaussian attributes using residual entropy loss and temporal loss to improve temporal continuity. This strategy, which disentangles motion and appearance, maintains high rendering quality with compact storage requirements. Meanwhile, we designed a multi-platform player to decode and render 2D Gaussian videos. Extensive experiments demonstrate the effectiveness of V^3, outperforming other methods by enabling high-quality rendering and streaming on common devices, which is unseen before. As the first to stream dynamic Gaussians on mobile devices, our companion player offers users an unprecedented volumetric video experience, including smooth scrolling and instant sharing. Our project page with source code is available at https://authoritywang.github.io/v3/.