SketchFaceGS: Real-Time Sketch-Driven Face Editing and Generation with Gaussian Splatting

📄 arXiv: 2604.19202v1 📥 PDF

作者: Bo Li, Jiahao Kang, Yubo Ma, Feng-Lin Liu, Bin Liu, Fang-Lue Zhang, Lin Gao

分类: cs.GR, cs.CV

发布日期: 2026-04-21

备注: Accepted to CVPR 2026 as a Highlight. Jittor implementation: https://github.com/gogoneural/SketchFaceGS_jittor. (C) 2026 IEEE. Personal use of this material is permitted

💡 一句话要点

SketchFaceGS：基于高斯溅射的实时草图驱动人脸编辑与生成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维人脸建模 高斯溅射 草图驱动 实时渲染 人脸编辑

📋 核心要点

  1. 现有3D高斯头部模型编辑方法缺乏直观交互性，2D草图虽然直观，但信息稀疏，难以实时推断出精确的3D结构。
  2. SketchFaceGS提出了一种草图驱动的框架，通过Transformer预测UV特征，并使用3D UV特征增强模块细化，实现高质量3D头部生成。
  3. 实验表明，SketchFaceGS在生成质量和编辑灵活性方面优于现有方法，能够从草图实时生成可编辑的3D头部模型。

📝 摘要（中文）

三维高斯表示已成为数字头部建模的强大范例，实现了逼真的质量和实时渲染。然而，三维高斯头部模型的直观和交互式创建或编辑仍然具有挑战性。虽然二维草图为快速、直观的概念设计提供了一种理想的交互方式，但它们是稀疏的、深度模糊的，并且缺乏高频外观线索，这使得从笔画中推断出密集、几何一致的三维高斯结构变得困难，尤其是在实时约束下。为了解决这些挑战，我们提出了SketchFaceGS，这是第一个草图驱动的框架，用于从二维草图实时生成和编辑逼真的三维高斯头部模型。我们的方法使用前馈、由粗到精的架构。一个基于Transformer的UV特征预测模块首先从输入草图中重建一个粗糙但几何一致的UV特征图，然后一个三维UV特征增强模块用高频、逼真的细节来细化它，以产生一个高保真的三维头部。对于编辑，我们引入了一种UV Mask Fusion技术，结合逐层特征融合策略，从而实现精确、实时、自由视点的修改。大量的实验表明，SketchFaceGS在生成保真度和编辑灵活性方面都优于现有方法，只需一次前向传递即可从草图中生成高质量、可编辑的三维头部。

🔬 方法详解

问题定义：论文旨在解决从二维草图实时生成和编辑逼真三维人脸头部模型的问题。现有方法要么难以从稀疏草图推断出精确的3D结构，要么缺乏直观的交互编辑能力，无法满足实时性要求。

核心思路：论文的核心思路是利用一个由粗到精的框架，首先从草图重建一个粗糙但几何一致的UV特征图，然后通过一个3D UV特征增强模块，添加高频细节，最终生成高保真的人脸头部模型。这种分阶段的方法允许在保持实时性的同时，逐步完善3D结构。

技术框架：SketchFaceGS框架主要包含两个模块：1) 基于Transformer的UV特征预测模块：该模块接收二维草图作为输入，预测一个粗糙的UV特征图，提供初始的几何结构。2) 3D UV特征增强模块：该模块接收粗糙的UV特征图，并使用3D卷积网络逐步添加高频细节，生成最终的高保真3D人脸头部模型。对于编辑功能，引入了UV Mask Fusion技术和逐层特征融合策略。

关键创新：该方法最大的创新在于将2D草图作为输入，实时生成可编辑的3D高斯人脸头部模型。与以往方法相比，它实现了更直观的交互方式和更高的生成质量。UV Mask Fusion技术和逐层特征融合策略保证了编辑的精确性和实时性。

关键设计：Transformer模块用于UV特征预测，能够捕捉草图中的全局信息，生成几何一致的UV特征图。3D UV特征增强模块采用多层3D卷积网络，逐步提升特征图的分辨率和细节。UV Mask Fusion技术通过融合不同区域的特征，实现精确的局部编辑。损失函数的设计也至关重要，可能包括重建损失、对抗损失等，以保证生成人脸的真实感。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SketchFaceGS在人脸生成质量和编辑灵活性方面均优于现有方法。该方法能够从草图实时生成高质量、可编辑的3D人脸头部模型，并在编辑操作中保持良好的几何一致性。具体性能数据（如FID分数、用户偏好度等）未在摘要中提及，属于未知信息。

🎯 应用场景

SketchFaceGS具有广泛的应用前景，包括游戏角色设计、虚拟形象定制、电影特效制作、以及个性化教育等领域。用户可以通过简单的草图快速创建和编辑3D人脸模型，极大地降低了3D建模的门槛，并为创意表达提供了新的途径。未来，该技术有望应用于更广泛的3D内容创作和人机交互场景。

📄 摘要（原文）

3D Gaussian representations have emerged as a powerful paradigm for digital head modeling, achieving photorealistic quality with real-time rendering. However, intuitive and interactive creation or editing of 3D Gaussian head models remains challenging. Although 2D sketches provide an ideal interaction modality for fast, intuitive conceptual design, they are sparse, depth-ambiguous, and lack high-frequency appearance cues, making it difficult to infer dense, geometrically consistent 3D Gaussian structures from strokes - especially under real-time constraints. To address these challenges, we propose SketchFaceGS, the first sketch-driven framework for real-time generation and editing of photorealistic 3D Gaussian head models from 2D sketches. Our method uses a feed-forward, coarse-to-fine architecture. A Transformer-based UV feature-prediction module first reconstructs a coarse but geometrically consistent UV feature map from the input sketch, and then a 3D UV feature enhancement module refines it with high-frequency, photorealistic detail to produce a high-fidelity 3D head. For editing, we introduce a UV Mask Fusion technique combined with a layer-by-layer feature-fusion strategy, enabling precise, real-time, free-viewpoint modifications. Extensive experiments show that SketchFaceGS outperforms existing methods in both generation fidelity and editing flexibility, producing high-quality, editable 3D heads from sketches in a single forward pass.