SplatFont3D: Structure-Aware Text-to-3D Artistic Font Generation with Part-Level Style Control

📄 arXiv: 2512.00413v1 📥 PDF

作者: Ji Gan, Lingxu Chen, Jiaxu Leng, Xinbo Gao

分类: cs.CV, cs.GR

发布日期: 2025-11-29

💡 一句话要点

提出SplatFont3D框架，实现结构感知和部件级风格控制的3D艺术字体生成。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 3D艺术字体生成 高斯溅射 风格迁移 部件级控制 扩散模型 文本到3D 结构感知

📋 核心要点

  1. 现有3D艺术字体生成方法缺乏对字体结构约束的建模，难以实现精细的部件级风格控制。
  2. SplatFont3D利用3D高斯溅射，结合Glyph2Cloud模块和动态组件分配策略，实现结构感知和部件级风格控制。
  3. 实验结果表明，SplatFont3D在风格一致性、视觉质量和渲染效率上均优于现有方法。

📝 摘要（中文）

艺术字体生成(AFG)可以辅助设计师创作创新的艺术字体。然而，以往的研究主要集中在平面设计的2D艺术字体上，对个性化的3D-AFG探索不足。3D-AFG不仅可以应用于视频游戏和动画等沉浸式3D环境，还可以通过渲染新视角的2D字体来增强2D-AFG。此外，与一般的3D对象不同，3D字体具有精确的语义和强大的结构约束，并且需要精细的部件级风格控制。为了解决这些挑战，我们提出了SplatFont3D，一种新颖的结构感知文本到3D AFG框架，它使用3D高斯溅射，能够从具有精确部件级风格控制的各种风格文本提示中创建3D艺术字体。具体来说，我们首先引入一个Glyph2Cloud模块，该模块逐步增强2D字形（或组件）的形状和风格，并生成其对应的3D点云以进行高斯初始化。初始化的3D高斯通过与预训练的2D扩散模型交互，使用分数蒸馏采样进一步优化。为了实现部件级控制，我们提出了一种动态组件分配策略，该策略利用3D高斯的几何先验来划分组件，同时减轻3D高斯优化过程中漂移引起的纠缠。我们的SplatFont3D提供了比NeRF更明确和有效的部件级风格控制，并实现了更快的渲染效率。实验表明，我们的SplatFont3D在风格文本一致性、视觉质量和渲染效率方面优于现有的3D模型。

🔬 方法详解

问题定义：现有3D艺术字体生成方法主要集中在整体风格迁移，缺乏对字体结构和部件级风格的精细控制。此外，基于NeRF的方法渲染效率较低，难以满足实时应用需求。

核心思路：论文的核心思路是利用3D高斯溅射(3D Gaussian Splatting)作为3D表示，结合2D扩散模型的强大生成能力，并通过动态组件分配策略实现部件级的风格控制。3D高斯溅射具有可微渲染的特性，能够高效地生成高质量的3D字体。

技术框架：SplatFont3D框架主要包含以下几个模块： 1. Glyph2Cloud模块：该模块负责将2D字形逐步增强其形状和风格，并生成对应的3D点云，用于初始化3D高斯。 2. 3D高斯优化：通过与预训练的2D扩散模型交互，利用分数蒸馏采样(Score Distillation Sampling)优化3D高斯的参数，使其符合目标风格。 3. 动态组件分配策略：该策略利用3D高斯的几何先验信息，将3D高斯划分为不同的组件，从而实现部件级的风格控制。

关键创新：SplatFont3D的关键创新在于： 1. 提出了一种基于3D高斯溅射的3D艺术字体生成框架，能够高效地生成高质量的3D字体。 2. 引入了Glyph2Cloud模块，能够从2D字形生成高质量的3D点云，用于初始化3D高斯。 3. 提出了动态组件分配策略，能够实现部件级的风格控制，这是现有方法所不具备的。

关键设计： 1. Glyph2Cloud模块：具体实现细节未知，但其目标是逐步增强2D字形的形状和风格，并生成对应的3D点云。 2. 分数蒸馏采样：利用预训练的2D扩散模型，通过分数蒸馏采样优化3D高斯的参数，使其符合目标风格。具体损失函数未知。 3. 动态组件分配策略：利用3D高斯的几何先验信息，例如位置和协方差，将3D高斯划分为不同的组件。具体划分算法未知。

📊 实验亮点

实验结果表明，SplatFont3D在风格文本一致性、视觉质量和渲染效率方面均优于现有的3D模型。与基于NeRF的方法相比，SplatFont3D能够实现更快的渲染速度，并提供更明确和有效的部件级风格控制。具体量化指标未知。

🎯 应用场景

SplatFont3D可应用于游戏、动画、广告设计等领域，为设计师提供更高效、更灵活的3D艺术字体生成工具。通过部件级风格控制，可以创作出更具个性化和创意的3D字体，提升视觉效果和用户体验。未来，该技术有望扩展到其他3D艺术内容生成领域。

📄 摘要（原文）

Artistic font generation (AFG) can assist human designers in creating innovative artistic fonts. However, most previous studies primarily focus on 2D artistic fonts in flat design, leaving personalized 3D-AFG largely underexplored. 3D-AFG not only enables applications in immersive 3D environments such as video games and animations, but also may enhance 2D-AFG by rendering 2D fonts of novel views. Moreover, unlike general 3D objects, 3D fonts exhibit precise semantics with strong structural constraints and also demand fine-grained part-level style control. To address these challenges, we propose SplatFont3D, a novel structure-aware text-to-3D AFG framework with 3D Gaussian splatting, which enables the creation of 3D artistic fonts from diverse style text prompts with precise part-level style control. Specifically, we first introduce a Glyph2Cloud module, which progressively enhances both the shapes and styles of 2D glyphs (or components) and produces their corresponding 3D point clouds for Gaussian initialization. The initialized 3D Gaussians are further optimized through interaction with a pretrained 2D diffusion model using score distillation sampling. To enable part-level control, we present a dynamic component assignment strategy that exploits the geometric priors of 3D Gaussians to partition components, while alleviating drift-induced entanglement during 3D Gaussian optimization. Our SplatFont3D provides more explicit and effective part-level style control than NeRF, attaining faster rendering efficiency. Experiments show that our SplatFont3D outperforms existing 3D models for 3D-AFG in style-text consistency, visual quality, and rendering efficiency.