StreamME: Simplify 3D Gaussian Avatar within Live Stream

📄 arXiv: 2507.17029v1 📥 PDF

作者: Luchuan Song, Yang Zhou, Zhan Xu, Yi Zhou, Deepali Aneja, Chenliang Xu

分类: cs.GR, cs.AI, cs.CV

发布日期: 2025-07-22

备注: 12 pages, 15 Figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

StreamME：一种用于直播流中快速重建3D高斯头像的方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D头像重建 高斯溅射 实时渲染 即时训练 面部动画 隐私保护 视频流处理

📋 核心要点

  1. 现有3D头像重建方法通常依赖预缓存数据或复杂的MLP，限制了其在实时直播场景中的应用。
  2. StreamME通过基于3D高斯溅射的即时训练策略，仅依赖几何结构，实现了快速且高质量的头像重建。
  3. 该方法引入基于主点的简化策略，优化点云分布，在保持渲染质量的同时显著提升了训练效率。

📝 摘要（中文）

StreamME提出了一种快速3D头像重建方法。该方法能够从直播视频流中同步记录并重建头部头像，无需任何预缓存数据，从而将重建后的外观无缝集成到下游应用中。这种极快的训练策略，我们称之为“即时训练”，是该方法的核心。StreamME构建于3D高斯溅射（3DGS）之上，消除了可变形3DGS中对MLP的依赖，仅依赖于几何结构，从而显著提高了对面部表情的适应速度。为了进一步确保即时训练的高效率，我们引入了一种基于主点的简化策略，该策略在面部表面上更稀疏地分布点云，在保持渲染质量的同时优化点数。利用即时训练能力，该方法保护了面部隐私，并降低了VR系统或在线会议中的通信带宽。此外，它可以直接应用于动画、卡通化和光照重定向等下游应用。

🔬 方法详解

问题定义：现有3D头像重建方法，特别是用于直播场景，面临着速度和隐私的双重挑战。传统方法依赖大量预训练数据或复杂的MLP网络，导致重建速度慢，难以满足实时性要求。此外，传输和存储用户面部数据也存在隐私泄露的风险。

核心思路：StreamME的核心在于“即时训练”，即在直播过程中实时重建3D头像，无需预先缓存数据。通过直接从视频流中学习，避免了数据传输和存储，从而保护了用户隐私。同时，采用基于3D高斯溅射（3DGS）的方法，避免了耗时的MLP训练，显著提升了重建速度。

技术框架：StreamME的整体流程包括：1) 从直播视频流中获取图像帧；2) 使用3D高斯溅射（3DGS）表示头像；3) 通过优化3D高斯参数来拟合面部表情；4) 使用基于主点的简化策略来减少点云数量，提高训练效率；5) 将重建后的3D头像应用于下游任务，如动画、卡通化等。

关键创新：StreamME的关键创新在于其“即时训练”策略和基于主点的简化方法。即时训练避免了预训练数据的依赖，实现了快速的在线重建。基于主点的简化方法通过在面部关键区域分配更多点云，在非关键区域减少点云数量，从而在保持渲染质量的同时显著减少了计算量。

关键设计：StreamME使用3D高斯溅射（3DGS）作为其核心表示方法，每个高斯由位置、协方差、颜色和不透明度等参数组成。优化过程旨在最小化渲染图像与输入图像之间的差异，通常使用光度损失和正则化项。基于主点的简化策略通过预先定义一组面部主点，并根据这些主点的位置来调整点云的密度分布。具体的参数设置和损失函数细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

StreamME通过即时训练和基于主点的简化策略，实现了快速且高质量的3D头像重建。具体性能数据和对比基线未在摘要中明确给出，但强调了其在速度和效率方面的显著提升，以及在保护用户隐私方面的优势。详细的实验结果需要在论文全文中查找。

🎯 应用场景

StreamME具有广泛的应用前景，包括VR/AR系统中的虚拟化身、在线会议中的实时面部动画、以及游戏和娱乐领域的个性化角色定制。该方法能够保护用户隐私，降低通信带宽，并提供高质量的实时3D头像重建，为用户带来更沉浸式的体验。

📄 摘要（原文）

We propose StreamME, a method focuses on fast 3D avatar reconstruction. The StreamME synchronously records and reconstructs a head avatar from live video streams without any pre-cached data, enabling seamless integration of the reconstructed appearance into downstream applications. This exceptionally fast training strategy, which we refer to as on-the-fly training, is central to our approach. Our method is built upon 3D Gaussian Splatting (3DGS), eliminating the reliance on MLPs in deformable 3DGS and relying solely on geometry, which significantly improves the adaptation speed to facial expression. To further ensure high efficiency in on-the-fly training, we introduced a simplification strategy based on primary points, which distributes the point clouds more sparsely across the facial surface, optimizing points number while maintaining rendering quality. Leveraging the on-the-fly training capabilities, our method protects the facial privacy and reduces communication bandwidth in VR system or online conference. Additionally, it can be directly applied to downstream application such as animation, toonify, and relighting. Please refer to our project page for more details: https://songluchuan.github.io/StreamME/.