FACT-GS: Frequency-Aligned Complexity-Aware Texture Reparameterization for 2D Gaussian Splatting

📄 arXiv: 2511.23292v2 📥 PDF

作者: Tianhao Xie, Linlian Jiang, Xinxin Zuo, Yang Wang, Tiberiu Popa

分类: cs.CV, cs.GR

发布日期: 2025-11-28 (更新: 2025-12-06)

备注: 11 pages, 6 figures, preprint

💡 一句话要点

FACT-GS：频率对齐的复杂度感知纹理重参数化高斯溅射，提升渲染质量。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 纹理参数化 非均匀采样 频率感知 自适应采样

📋 核心要点

  1. 现有基于纹理的高斯溅射方法采用均匀采样，导致高频区域欠采样，低频区域过采样，影响渲染质量。
  2. FACT-GS提出了一种频率感知的纹理重参数化方法，通过可学习的形变场来控制局部采样密度，实现自适应采样。
  3. FACT-GS在固定分辨率纹理网格上实现了非均匀采样，在保持实时性的同时，显著提升了高频细节的渲染效果。

📝 摘要（中文）

高斯溅射技术在真实场景外观建模方面取得了快速进展，能够实现实时、高质量的渲染。最近的研究引入了每个图元的纹理，将高斯内部的空间颜色变化纳入考虑，从而提高了其表达能力。然而，基于纹理的高斯使用统一的采样网格来参数化外观，无论局部视觉复杂度如何，都分配相同的采样密度。这导致纹理空间利用效率低下，高频区域欠采样，平滑区域浪费容量，造成外观模糊和精细结构细节的丢失。我们提出了FACT-GS，一个频率对齐的复杂度感知纹理高斯溅射框架，它根据局部视觉频率分配纹理采样密度。基于自适应采样理论，FACT-GS将纹理参数化重新定义为一个可微的采样密度分配问题，用可学习的频率感知分配策略取代了统一纹理，该策略通过形变场的雅可比矩阵来调节局部采样密度。FACT-GS建立在2D高斯溅射的基础上，在固定分辨率的纹理网格上执行非均匀采样，在相同的参数预算下，保持实时性能的同时恢复更清晰的高频细节。

🔬 方法详解

问题定义：现有基于纹理的高斯溅射方法在参数化高斯外观时，采用均匀的纹理采样网格，忽略了局部视觉复杂度的差异。这种均匀采样策略导致高频区域（例如，细节丰富的区域）的采样不足，而低频区域（例如，平滑区域）的采样过剩。这造成了纹理空间利用率低下，最终导致渲染结果模糊，丢失精细结构细节，影响了渲染质量。

核心思路：FACT-GS的核心思路是根据局部视觉频率自适应地分配纹理采样密度。具体来说，它将纹理参数化问题转化为一个可微的采样密度分配问题。通过学习一个形变场，该形变场的雅可比矩阵可以调节局部采样密度，从而实现对高频区域进行更密集的采样，对低频区域进行更稀疏的采样。这种自适应采样策略能够更有效地利用纹理空间，提高渲染质量。

技术框架：FACT-GS建立在2D高斯溅射的基础上，其整体框架包括以下几个主要模块：1) 2D高斯表示：使用2D高斯来表示场景几何和外观。2) 纹理参数化：使用纹理来参数化每个高斯的外观，但与传统方法不同，FACT-GS使用非均匀纹理采样。3) 形变场学习：学习一个形变场，用于控制纹理采样密度。4) 渲染：使用可微渲染器将高斯投影到图像平面上，并根据纹理颜色进行着色。

关键创新：FACT-GS最重要的技术创新点在于其频率感知的纹理重参数化方法。与现有方法采用的均匀纹理采样不同，FACT-GS通过学习一个形变场来控制局部采样密度，从而实现自适应采样。这种方法能够更有效地利用纹理空间，提高渲染质量。本质区别在于从静态的均匀采样转变为动态的、内容感知的非均匀采样。

关键设计：FACT-GS的关键设计包括：1) 形变场的表示：使用一个小型神经网络来表示形变场。2) 损失函数：使用一个包含渲染损失和正则化损失的损失函数来训练形变场。渲染损失用于保证渲染结果的准确性，正则化损失用于保证形变场的平滑性。3) 采样策略：使用基于雅可比行列式的采样策略来控制局部采样密度。雅可比行列式越大，采样密度越高。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FACT-GS在多个数据集上进行了实验，结果表明，与现有方法相比，FACT-GS能够在相同的参数预算下，显著提高渲染质量，尤其是在高频细节的渲染方面。实验结果显示，FACT-GS在PSNR、SSIM等指标上均优于基线方法，并且能够恢复更清晰的图像细节。例如，在某个数据集上，FACT-GS的PSNR比基线方法提高了约1-2dB。

🎯 应用场景

FACT-GS在虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于创建更逼真、更精细的3D场景，提高用户体验。此外，FACT-GS还可以应用于三维重建、场景编辑等任务，为相关领域的研究提供新的思路和方法。未来，该技术有望在自动驾驶、机器人导航等领域发挥重要作用。

📄 摘要（原文）

Realistic scene appearance modeling has advanced rapidly with Gaussian Splatting, which enables real-time, high-quality rendering. Recent advances introduced per-primitive textures that incorporate spatial color variations within each Gaussian, improving their expressiveness. However, texture-based Gaussians parameterize appearance with a uniform per-Gaussian sampling grid, allocating equal sampling density regardless of local visual complexity. This leads to inefficient texture space utilization, where high-frequency regions are under-sampled and smooth regions waste capacity, causing blurred appearance and loss of fine structural detail. We introduce FACT-GS, a Frequency-Aligned Complexity-aware Texture Gaussian Splatting framework that allocates texture sampling density according to local visual frequency. Grounded in adaptive sampling theory, FACT-GS reformulates texture parameterization as a differentiable sampling-density allocation problem, replacing the uniform textures with a learnable frequency-aware allocation strategy implemented via a deformation field whose Jacobian modulates local sampling density. Built on 2D Gaussian Splatting, FACT-GS performs non-uniform sampling on fixed-resolution texture grids, preserving real-time performance while recovering sharper high-frequency details under the same parameter budget.