Feed-Forward Multi-View Feature Coding for 3D Gaussian Splatting

📄 arXiv: 2610.20590v1 📥 PDF

作者: Seungmi Choi, Ji-Hyoun Choi, Suhyun Jo, Tae-Gwon Park, Hui Yong Kim

分类: cs.CV

发布日期: 2026-10-14

💡 一句话要点

提出多视图特征编码以解决3D高斯点云重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯点云 多视图特征 计算机视觉 端到端训练 率失真优化 虚拟现实

📋 核心要点

  1. 现有的3D高斯点云重建方法在生成高斯表示后，需分别处理几何和外观属性，导致复杂的编码设计和性能限制。
  2. 本文提出的MFGS框架通过提取多视图特征，避免了显式高斯表示的压缩，采用端到端的训练方法提高了特征的紧凑性。
  3. 在RE10K、ACID和DL3DV数据集上，MFGS实现了显著的比特率节省和计算效率提升，展示了其优越的性能。

📝 摘要（中文）

前馈3D高斯点云（3DGS）方法能够在单次前向传递中高效重建3D场景，但现有的编码流程通常需要先生成完整的高斯表示，再分别编码几何和外观属性，这一过程涉及非可微操作，限制了性能。本文提出了多视图特征编码（MFGS），通过从输入图像中提取多视图特征并将其编码为紧凑的比特流，避免了显式高斯表示的压缩。MFGS通过端到端的率失真训练，学习联合表示几何和外观的紧凑特征，从而使接收方能够从解码特征中预测高斯属性。此外，MFGS引入了重要性引导的高斯选择，以适应不同的渲染预算，允许接收方从相同的比特流中调整用于渲染的高斯数量。实验结果表明，MFGS在多个数据集上实现了99.76-99.86%的比特率节省，并减少了52-55%的总GMACs，提供了约12倍的端到端加速。

🔬 方法详解

问题定义：本文旨在解决现有3D高斯点云重建方法中生成与压缩流程的复杂性和性能限制。现有方法通常需要生成完整的高斯表示，随后分别编码几何和外观属性，这一过程涉及非可微操作，影响了整体效率和效果。

核心思路：MFGS的核心思想是直接从输入图像中提取多视图特征，并将其编码为紧凑的比特流，而不是先生成高斯表示。通过端到端的率失真训练，MFGS能够学习到联合表示几何和外观的特征，从而提高了编码效率和重建质量。

技术框架：MFGS的整体架构包括特征提取模块、特征编码模块和解码模块。特征提取模块从多视图图像中提取特征，编码模块将这些特征压缩为比特流，解码模块则负责从比特流中恢复高斯属性。

关键创新：MFGS的主要创新在于其端到端的特征编码方式，避免了传统方法中的“生成-再压缩”流程，能够更有效地利用跨属性冗余信息。

关键设计：MFGS采用了重要性引导的高斯选择策略，以适应不同的渲染预算，并允许接收方灵活调整渲染所需的高斯数量。此外，损失函数的设计也经过精心调整，以优化率失真性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MFGS在RE10K、ACID和DL3DV数据集上实现了99.76-99.86%的比特率节省，相较于传统生成-再压缩流程，显著提升了编码效率。同时，MFGS还减少了52-55%的总GMACs，并提供了约12倍的端到端加速，展示了其优越的性能。

🎯 应用场景

该研究在3D重建、计算机视觉和虚拟现实等领域具有广泛的应用潜力。通过提高3D场景重建的效率和质量，MFGS能够为实时渲染、场景理解和增强现实等技术提供支持，推动相关领域的发展。

📄 摘要（原文）

Feed-forward 3D Gaussian Splatting (3DGS) methods enable efficient reconstruction of 3D scenes from sparse multi-view images in a single forward pass, without scene-specific optimization. However, existing feed-forward scene-coding pipelines first generate a complete Gaussian representation and then encode its geometry and appearance attributes separately, often involving non-differentiable operations. The resulting 'generate-then-compress' pipeline requires complex attribute-specific codec designs and limits rate-distortion performance by restricting the exploitation of cross-attribute redundancy. We propose multi-view feature coding for Gaussian splatting (MFGS), an end-to-end feed-forward framework for scene coding. Instead of compressing an explicit Gaussian representation, MFGS extracts multi-view features from the input images and encodes them into a compact bitstream. Through end-to-end rate-distortion training, MFGS learns compact multi-view features that jointly represent geometry and appearance, enabling the receiver to predict Gaussian attributes from the decoded features. We further introduce importance-guided Gaussian selection to accommodate different rendering budgets, allowing the receiver to adjust the number of Gaussians used for rendering from the same bitstream. Across RE10K, ACID, and DL3DV, MFGS achieves 99.76-99.86% bitrate savings over the generate-then-compress pipeline, as measured by BD-rate, while reducing total GMACs by 52-55% and providing an approximately 12 times end-to-end speedup.