HandSCS: Structural Coordinate Space for Animatable Hand Gaussian Splatting

📄 arXiv: 2503.14736v2 📥 PDF

作者: Yilan Dong, Wenqing Wang, Qing Wang, Jiahao Yang, Haohe Liu, Xiatuan Zhu, Gregory Slabaugh, Shanxin Yuan

分类: cs.CV

发布日期: 2025-03-18 (更新: 2025-12-21)

💡 一句话要点

HandSCS：用于可动画手部高斯溅射的结构化坐标空间

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 手部动画 高斯溅射 结构化坐标空间 姿势间一致性 三维重建

📋 核心要点

  1. 现有方法难以处理高度铰接手部的复杂动画，因为它们依赖于全局姿势参数，无法捕捉局部变形。
  2. HandSCS通过引入结构化坐标空间（SCS）和姿势间一致性损失，显式地建模了手部的结构信息，从而提升动画质量。
  3. 实验表明，HandSCS在InterHand2.6M数据集上取得了SOTA性能，尤其在处理高变形和自接触区域时表现出色。

📝 摘要（中文）

本文提出HandSCS，一个结构引导的3D高斯溅射框架，用于高保真手部动画。与现有方法不同，HandSCS为每个高斯配备了来自姿势内和姿势间的显式结构指导，解决了现有方法对所有高斯使用相同的全局姿势参数，不适用于高度铰接的手部建模的问题。为了建立姿势内结构指导，引入了结构化坐标空间（SCS），通过混合静态-动态坐标基和角度-径向描述符，弥合了稀疏骨骼和密集高斯之间的差距。为了提高跨姿势一致性，进一步引入了姿势间一致性损失，以促进相似铰接下高斯属性的一致性。这些组件共同实现了高保真结果，即使在具有挑战性的高变形和自接触区域也能保持一致的精细细节。在InterHand2.6M数据集上的实验表明，HandSCS在手部头像动画方面实现了最先进的性能，证实了显式结构建模的有效性。

🔬 方法详解

问题定义：现有方法在创建可动画的手部头像时，难以兼顾复杂关节运动和跨姿势的结构一致性。它们通常依赖于全局姿势参数来驱动所有高斯，这对于高度铰接的手部来说是不够的，无法捕捉到精细的局部变形，导致动画效果不佳。

核心思路：HandSCS的核心思路是为每个高斯配备显式的结构指导，从姿势内和姿势间两个角度出发，提升手部动画的真实感和一致性。通过结构化坐标空间（SCS）建立高斯和骨骼之间的联系，并利用姿势间一致性损失来约束相似姿势下的高斯属性。

技术框架：HandSCS框架主要包含以下几个关键模块：1) 结构化坐标空间（SCS）：将每个高斯点关联到手部骨骼结构上，利用混合静态-动态坐标基和角度-径向描述符来编码局部结构信息。2) 高斯溅射渲染：基于结构化的高斯表示，进行可微分的渲染，生成最终的图像。3) 姿势间一致性损失：用于约束相似姿势下的高斯属性，保证动画的平滑性和一致性。

关键创新：HandSCS的关键创新在于引入了结构化坐标空间（SCS），它显式地建模了手部的结构信息，弥合了稀疏骨骼和密集高斯之间的差距。与现有方法隐式地学习结构信息不同，HandSCS通过SCS直接将高斯点与骨骼结构关联起来，从而更好地控制手部的变形和动画。

关键设计：SCS使用混合静态-动态坐标基，其中静态部分捕捉高斯点相对于骨骼的静态位置关系，动态部分捕捉高斯点随骨骼运动的动态变化。角度-径向描述符用于编码高斯点相对于骨骼的局部方向和距离信息。姿势间一致性损失通过比较相似姿势下的高斯属性（如位置、颜色、不透明度）来约束动画的一致性。损失函数的具体形式未知，但其目标是最小化相似姿势下高斯属性的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HandSCS在InterHand2.6M数据集上取得了state-of-the-art的性能，尤其在处理高变形和自接触区域时表现出色。实验结果表明，HandSCS能够生成高保真、结构一致的手部动画，显著优于现有方法。具体的性能指标和提升幅度未知，但摘要强调了其在手部头像动画方面的优越性。

🎯 应用场景

HandSCS在虚拟现实、增强现实、人机交互等领域具有广泛的应用前景。它可以用于创建逼真的手部虚拟形象，提升用户在虚拟环境中的沉浸感和交互体验。此外，HandSCS还可以应用于远程协作、手语识别、康复训练等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

Creating animatable hand avatars from multi-view images requires modeling complex articulations and maintaining structural consistency across poses in real time. We present HandSCS, a structure-guided 3D Gaussian Splatting framework for high-fidelity hand animation. Unlike existing approaches that condition all Gaussians on the same global pose parameters, which are inadequate for highly articulated hands, HandSCS equips each Gaussian with explicit structural guidance from both intra-pose and inter-pose perspectives. To establish intra-pose structural guidance, we introduce a Structural Coordinate Space (SCS), which bridges the gap between sparse bones and dense Gaussians through hybrid static-dynamic coordinate basis and angular-radial descriptors. To improve cross-pose coherence, we further introduce an Inter-pose Consistency Loss that promotes consistent Gaussian attributes under similar articulations. Together, these components achieve high-fidelity results with consistent fine details, even in challenging high-deformation and self-contact regions. Experiments on the InterHand2.6M dataset demonstrate that HandSCS achieves state-of-the-art performance in hand avatar animation, confirming the effectiveness of explicit structural modeling.