Edge Collaborative Gaussian Splatting with Integrated Rendering and Communication

📄 arXiv: 2510.22718v2 📥 PDF

作者: Yujie Wan, Chenxuan Liu, Shuai Wang, Tong Zhang, James Jianqiao Yu, Kejiang Ye, Dusit Niyato, Chengzhong Xu

分类: cs.IT, cs.CV

发布日期: 2025-10-26 (更新: 2026-01-29)

备注: IEEE ICASSP, Barcelona, Spain, 2026

💡 一句话要点

提出ECO-GS，通过边缘协同高斯溅射提升低成本设备渲染质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 边缘计算 协同渲染 资源分配 非凸优化

📋 核心要点

  1. 现有高斯溅射方法在低成本设备上渲染质量不佳，难以兼顾渲染质量和计算效率。
  2. ECO-GS通过边缘协同，允许设备在本地小模型和远程大模型间切换，平衡渲染质量和资源消耗。
  3. IRAC算法联合优化协作状态和边缘功率分配，PMM算法求解非凸问题，ILO算法加速计算。

📝 摘要（中文）

高斯溅射(GS)在低成本设备上渲染质量下降。为了解决这个问题，我们提出了边缘协同GS(ECO-GS)，其中每个用户可以在本地小型GS模型（保证及时性）和远程大型GS模型（保证保真度）之间切换。然而，如何启用大型GS模型并非易事，因为渲染需求和资源条件之间存在相互依赖关系。为此，我们提出了集成渲染和通信(IRAC)，它通过最小化新推导的GS切换函数，在不同用户的通信约束下，联合优化协作状态（即，决定是否启用大型GS）和边缘功率分配（即，启用远程渲染）。尽管问题是非凸的，但我们提出了一种有效的惩罚主化最小化(PMM)算法来获得临界点解。此外，我们开发了一种模仿学习优化(ILO)算法，与PMM相比，该算法将计算时间减少了100倍以上。实验证明了PMM的优越性和ILO的实时执行能力。

🔬 方法详解

问题定义：论文旨在解决低成本设备上高斯溅射渲染质量差的问题。现有方法要么计算效率低，无法保证实时性；要么渲染质量差，无法满足用户需求。痛点在于如何在有限的计算资源和通信带宽下，实现高质量的实时渲染。

核心思路：论文的核心思路是利用边缘计算的协同能力，将渲染任务分解为本地和远程两部分。本地设备使用小型GS模型保证实时性，远程边缘服务器使用大型GS模型保证渲染质量。通过智能地切换和分配计算资源，达到最佳的渲染效果。

技术框架：ECO-GS的技术框架主要包括三个部分：本地小型GS模型、远程大型GS模型和IRAC算法。本地模型负责快速渲染，远程模型负责高质量渲染。IRAC算法负责根据设备资源和渲染需求，动态地决定是否启用远程渲染，并优化边缘服务器的功率分配。整体流程是：设备发起渲染请求，IRAC算法决策，本地或远程渲染，结果返回设备。

关键创新：论文的关键创新在于提出了集成渲染和通信(IRAC)的联合优化方法。IRAC算法同时考虑了渲染需求和通信约束，通过最小化GS切换函数，实现了协作状态和边缘功率分配的联合优化。此外，还提出了PMM算法来求解非凸优化问题，并提出了ILO算法来加速计算。

关键设计：IRAC算法的关键设计在于GS切换函数的定义，该函数综合考虑了渲染质量、计算成本和通信开销。PMM算法的关键设计在于使用惩罚函数和主化最小化方法来求解非凸问题。ILO算法的关键设计在于使用模仿学习来学习PMM算法的决策策略，从而实现快速决策。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PMM算法能够有效地优化协作状态和边缘功率分配，显著提升渲染质量。ILO算法在保证渲染质量的前提下，将计算时间减少了100倍以上，实现了实时渲染。与传统方法相比，ECO-GS在渲染质量和计算效率方面都取得了显著的提升。

🎯 应用场景

该研究成果可应用于AR/VR、游戏、远程协作等领域。通过边缘协同，可以提升低端设备上的渲染质量和用户体验。例如，在移动AR应用中，用户可以使用手机进行快速定位和粗略渲染，然后将高质量的渲染任务卸载到边缘服务器，从而获得更好的视觉效果。

📄 摘要（原文）

Gaussian splatting (GS) struggles with degraded rendering quality on low-cost devices. To address this issue, we present edge collaborative GS (ECO-GS), where each user can switch between a local small GS model to guarantee timeliness and a remote large GS model to guarantee fidelity. However, deciding how to engage the large GS model is nontrivial, due to the interdependency between rendering requirements and resource conditions. To this end, we propose integrated rendering and communication (IRAC), which jointly optimizes collaboration status (i.e., deciding whether to engage large GS) and edge power allocation (i.e., enabling remote rendering) under communication constraints across different users by minimizing a newly-derived GS switching function. Despite the nonconvexity of the problem, we propose an efficient penalty majorization minimization (PMM) algorithm to obtain the critical point solution. Furthermore, we develop an imitation learning optimization (ILO) algorithm, which reduces the computational time by over 100x compared to PMM. Experiments demonstrate the superiority of PMM and the real-time execution capability of ILO.