ManifoldSplat: Language-Guided Semantic Shape Editing of 3D Gaussian Head Avatars

📄 arXiv: 2610.03599v1 📥 PDF

作者: Antonio Canela, Jordi Sànchez-Riera

分类: cs.CV

发布日期: 2026-10-02

备注: GCPR 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ManifoldSplat以解决3D头像编辑中的几何一致性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D头像生成 语言引导编辑 高斯云 几何一致性 条件变分自编码器 FLAME流形 实时渲染

📋 核心要点

  1. 现有方法在文本驱动的3D头像编辑中缺乏细粒度的局部控制，导致几何一致性问题。
  2. ManifoldSplat通过在FLAME流形内进行编辑，避免了直接优化高斯云的缺陷，确保身份和动画的一致性。
  3. 实验结果显示，ManifoldSplat在局部提示对齐和几何一致性方面超越了现有技术，重建和编辑速度显著提升。

📝 摘要（中文）

高保真3D头像已接近照片级真实感。尽管近期方法支持文本驱动的操作，但在细粒度局部控制方面仍存在困难，常常导致特征纠缠或几何一致性不足。通过自然语言修改几何形状目前需要缓慢的逐提示优化，或妥协身份和绑定。我们提出ManifoldSplat，这是第一个端到端框架，支持从单目视频重建的可动画3D高斯头像的语言引导语义形状编辑。通过在结构化的FLAME流形内进行编辑，而不是直接优化无结构的高斯云，我们严格保持身份和动画。我们引入DeltaRegion，一个区域分离的条件变分自编码器（CVAE），提供前馈形状增量，并通过精细化阶段恢复视图一致的细节。ManifoldSplat在消费级GPU上重建和编辑头像约90秒，渲染速度约800 FPS。广泛评估表明我们的方法在局部提示对齐、几何一致性和身份保持方面设定了新的最先进水平。

🔬 方法详解

问题定义：本论文旨在解决现有文本驱动3D头像编辑方法在局部控制和几何一致性方面的不足，尤其是在身份和动画保持方面的挑战。

核心思路：ManifoldSplat的核心思路是通过在结构化的FLAME流形内进行编辑，而非直接优化无结构的高斯云，从而确保在进行形状修改时严格保持身份和动画的一致性。

技术框架：该方法的整体架构包括两个主要模块：DeltaRegion，一个区域分离的条件变分自编码器（CVAE），用于生成形状增量；以及一个精细化阶段，用于恢复视图一致的细节。

关键创新：ManifoldSplat的最大创新在于其在FLAME流形内进行的编辑方式，这一设计使得形状编辑过程更加高效且保持几何一致性，区别于传统方法的直接高斯云优化。

关键设计：在技术细节上，DeltaRegion采用了分离的条件变分自编码器结构，能够针对不同区域生成形状增量，同时在损失函数设计上注重保持视图一致性，确保生成的头像在不同视角下都具有一致的外观。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ManifoldSplat在局部提示对齐、几何一致性和身份保持方面达到了新的最先进水平。具体而言，该方法在重建和编辑头像时仅需约90秒，渲染速度达到约800 FPS，显著提升了效率和效果。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、游戏开发以及社交媒体中的个性化头像创建。ManifoldSplat的高效性和高保真度使其能够在实时应用中提供更好的用户体验，未来可能推动3D头像生成技术的广泛应用。

📄 摘要（原文）

High-fidelity 3D head avatars have reached near-photorealistic quality. While recent methods enable text-driven manipulation, they struggle to provide fine-grained localized control, often entangling features or lacking geometric consistency. Modifying geometry through natural language currently requires slow per-prompt optimization or compromises identity and rigging. We present ManifoldSplat, the first end-toend framework for language-guided semantic shape editing of animatable 3D Gaussian Splatting avatars reconstructed from monocular videos. By performing edits within the structured FLAME manifold rather than directly optimizing an unstructured Gaussian cloud, we strictly preserve identity and animation. We introduce DeltaRegion, a per-region disentangled Conditional Variational Autoencoder (CVAE) delivering feedforward shape deltas, alongside a refining stage to recover view-consistent details. ManifoldSplat reconstructs and edits an avatar in ~90 seconds on a consumer GPU, rendering at ~800 FPS. Extensive evaluations demonstrate our approach sets a new state-of-the-art in localized prompt alignment, geometric coherence, and identity preservation. Project page and code: https://a-canela.github.io/manifoldsplat/