Edge Collaborative Gaussian Splatting with Integrated Rendering and Communication

📄 arXiv: 2510.22718v1 📥 PDF

作者: Yujie Wan, Chenxuan Liu, Shuai Wang, Tong Zhang, James Jianqiao Yu, Kejiang Ye, Dusit Niyato, Chengzhong Xu

分类: cs.IT, cs.CV

发布日期: 2025-10-26

备注: 5 pages and 7 figures, submitted for possible publication

💡 一句话要点

提出ECO-GS，通过边缘协同高斯溅射提升低成本设备渲染质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 边缘计算 协同渲染 资源分配 模仿学习

📋 核心要点

  1. 现有高斯溅射在低算力设备上渲染质量不佳，难以兼顾渲染质量和实时性。
  2. ECO-GS通过边缘协同，动态切换本地小模型和远程大模型，平衡渲染质量和响应速度。
  3. IRAC联合优化协作状态和边缘功率分配，PMM算法求解非凸问题，ILO算法加速计算。

📝 摘要（中文）

高斯溅射(GS)在低成本设备上渲染质量下降。为了解决这个问题，我们提出了边缘协同GS(ECO-GS)，其中每个用户可以在本地小型GS模型（保证及时性）和远程大型GS模型（保证保真度）之间切换。然而，如何利用大型GS模型并非易事，因为渲染需求和资源条件之间存在相互依赖关系。为此，我们提出了集成渲染和通信(IRAC)，它通过最小化新推导的GS切换函数，在不同用户的通信约束下，联合优化协作状态（即，决定是否启用大型GS）和边缘功率分配（即，启用远程渲染）。尽管问题是非凸的，但我们提出了一种有效的惩罚主化最小化(PMM)算法来获得临界点解。此外，我们开发了一种模仿学习优化(ILO)算法，与PMM相比，该算法将计算时间减少了100倍以上。实验证明了PMM的优越性和ILO的实时执行能力。

🔬 方法详解

问题定义：论文旨在解决低成本设备上高斯溅射（GS）渲染质量下降的问题。现有方法难以在低算力设备上实现高质量、实时的渲染。痛点在于如何在有限的计算资源和通信带宽下，充分利用远程服务器的算力，同时保证用户端的实时交互体验。

核心思路：论文的核心思路是边缘协同，即利用边缘计算的优势，将渲染任务分解为本地和远程两部分。本地运行小型GS模型保证实时性，远程运行大型GS模型保证渲染质量。通过智能地切换和协同这两个模型，在渲染质量和实时性之间取得平衡。

技术框架：ECO-GS的技术框架主要包含以下几个模块：1) 本地小型GS模型：负责快速渲染，保证实时性；2) 远程大型GS模型：负责高质量渲染，但需要通过网络传输；3) 集成渲染和通信(IRAC)模块：负责决策何时启用远程渲染，并优化边缘功率分配；4) 优化算法：包括PMM算法和ILO算法，用于求解IRAC中的优化问题。整体流程是，用户端根据当前渲染需求和资源状况，通过IRAC模块决定是否启用远程渲染，并进行相应的功率分配。

关键创新：论文的关键创新在于提出了集成渲染和通信(IRAC)框架，将渲染决策和通信资源分配联合优化。传统的方案通常是独立地考虑渲染和通信，忽略了它们之间的相互依赖关系。IRAC通过一个统一的优化目标，同时考虑了渲染质量、实时性和通信约束，从而实现了更高效的资源利用。此外，论文还提出了PMM算法和ILO算法，用于求解IRAC中的非凸优化问题。

关键设计：IRAC框架的核心是一个GS切换函数，用于衡量不同协作状态下的渲染质量和通信成本。该函数需要根据具体的应用场景进行设计，以反映用户对渲染质量和实时性的偏好。PMM算法是一种迭代算法，通过惩罚项将非凸问题转化为一系列凸子问题进行求解。ILO算法则是一种基于模仿学习的优化算法，通过学习PMM算法的决策策略，从而实现更快的计算速度。具体的损失函数、网络结构等技术细节在论文中有详细描述。

📊 实验亮点

实验结果表明，PMM算法能够有效地优化渲染质量和通信成本，而ILO算法在计算速度上比PMM算法快100倍以上，实现了实时执行能力。这使得ECO-GS能够在实际应用中部署，为低成本设备提供高质量的渲染服务。

🎯 应用场景

该研究成果可应用于AR/VR、移动游戏、远程协作等领域。通过边缘协同，可以在低成本设备上实现高质量、实时的3D渲染，提升用户体验。未来，该技术有望进一步扩展到其他计算密集型应用，如自动驾驶、智能制造等。

📄 摘要（原文）

Gaussian splatting (GS) struggles with degraded rendering quality on low-cost devices. To address this issue, we present edge collaborative GS (ECO-GS), where each user can switch between a local small GS model to guarantee timeliness and a remote large GS model to guarantee fidelity. However, deciding how to engage the large GS model is nontrivial, due to the interdependency between rendering requirements and resource conditions. To this end, we propose integrated rendering and communication (IRAC), which jointly optimizes collaboration status (i.e., deciding whether to engage large GS) and edge power allocation (i.e., enabling remote rendering) under communication constraints across different users by minimizing a newly-derived GS switching function. Despite the nonconvexity of the problem, we propose an efficient penalty majorization minimization (PMM) algorithm to obtain the critical point solution. Furthermore, we develop an imitation learning optimization (ILO) algorithm, which reduces the computational time by over 100x compared to PMM. Experiments demonstrate the superiority of PMM and the real-time execution capability of ILO.