Hand-Shadow Poser
作者: Hao Xu, Yinqiao Wang, Niloy J. Mitra, Shuaicheng Liu, Pheng-Ann Heng, Chi-Wing Fu
分类: cs.CG, cs.AI
发布日期: 2025-05-11
备注: SIGGRAPH 2025 (ACM TOG)
DOI: 10.1145/3730836
💡 一句话要点
提出Hand-Shadow Poser，解决给定目标形状反推双手姿态生成手影问题。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 手影生成 双手姿态估计 逆问题 生成模型 阴影特征 人机交互 计算机视觉
📋 核心要点
- 现有方法难以在巨大的3D手部姿态空间中，同时满足解剖学约束和目标阴影形状的语义约束。
- Hand-Shadow Poser通过解耦解剖学和语义约束，分阶段处理手部姿态生成问题，提升生成质量。
- 实验表明，该方法在包含210个多样阴影形状的基准测试中，对超过85%的案例有效生成双手动手姿势。
📝 摘要（中文）
本文研究了一个逆问题：给定一个目标形状，寻找左右手的姿势，使其产生的阴影最能逼真地再现输入形状。这个问题极具挑战性，因为3D手部姿势的设计空间巨大，同时又受到解剖学约束的限制。此外，我们需要关注输入的形状和关键特征，尽管输入是无色的且没有纹理。为了应对这些挑战，我们设计了Hand-Shadow Poser，一个三阶段流程，将解剖学约束（通过手）和语义约束（通过阴影形状）解耦：（i）一个生成式手部分配模块，用于探索多样但合理的左右手形状假设；（ii）一个广义的手影对齐模块，通过相似性驱动策略选择假设，以推断粗略的手部姿势；（iii）一个阴影特征感知细化模块，用于优化手部姿势，以实现物理合理性和阴影特征的保留。此外，我们将我们的流程设计为可以在通用公共手部数据上进行训练，从而避免了对任何专门训练数据集的需求。为了进行方法验证，我们构建了一个包含210个不同复杂度的阴影形状的基准，以及一套全面的指标，包括一种新颖的基于DINOv2的评估指标。通过与多个基线和用户研究的广泛比较，我们的方法被证明可以有效地为85%以上的基准案例生成各种手部形状的双手动手姿势。
🔬 方法详解
问题定义：论文旨在解决从目标阴影形状反推双手姿态的问题。现有方法难以在巨大的手部姿态空间中搜索，同时满足手部的解剖学约束和阴影形状的语义约束，导致生成的手部姿态不自然或阴影形状与目标不符。
核心思路：论文的核心思路是将问题分解为三个阶段，分别处理手部形状生成、粗略姿态估计和阴影特征感知的姿态优化。通过解耦解剖学约束（手部形状）和语义约束（阴影形状），降低了问题的复杂度。
技术框架：Hand-Shadow Poser包含三个主要模块：（1）生成式手部分配模块，用于生成多样且合理的左右手形状假设；（2）广义手影对齐模块，通过相似性驱动策略选择假设，并推断粗略的手部姿势；（3）阴影特征感知细化模块，优化手部姿势，以实现物理合理性和阴影特征的保留。
关键创新：该方法的主要创新在于其三阶段的解耦设计，以及阴影特征感知的姿态优化。通过生成式手部分配模块，探索了更广泛的手部形状空间。阴影特征感知细化模块则利用了阴影的特征信息，进一步提升了生成姿态的准确性和真实感。
关键设计：生成式手部分配模块的具体实现未知。广义手影对齐模块采用相似性驱动策略，具体相似度度量方式未知。阴影特征感知细化模块可能使用了特定的损失函数来约束阴影特征的保留，具体实现未知。论文强调了该流程可以在通用公共手部数据上进行训练，避免了对特定数据集的需求。
🖼️ 关键图片
📊 实验亮点
该方法在自建的包含210个不同复杂度的阴影形状的基准测试中，对超过85%的案例有效生成双手动手姿势。论文还设计了一种新颖的基于DINOv2的评估指标，用于更全面地评估生成结果的质量。通过与多个基线和用户研究的广泛比较，证明了该方法的有效性。
🎯 应用场景
该研究成果可应用于人机交互、虚拟现实、游戏开发等领域。例如，用户可以通过绘制简单的阴影形状，快速生成逼真的双手姿态，从而实现更自然、更直观的交互体验。此外，该技术还可以用于手语教学、康复训练等领域，具有广泛的应用前景。
📄 摘要（原文）
Hand shadow art is a captivating art form, creatively using hand shadows to reproduce expressive shapes on the wall. In this work, we study an inverse problem: given a target shape, find the poses of left and right hands that together best produce a shadow resembling the input. This problem is nontrivial, since the design space of 3D hand poses is huge while being restrictive due to anatomical constraints. Also, we need to attend to the input's shape and crucial features, though the input is colorless and textureless. To meet these challenges, we design Hand-Shadow Poser, a three-stage pipeline, to decouple the anatomical constraints (by hand) and semantic constraints (by shadow shape): (i) a generative hand assignment module to explore diverse but reasonable left/right-hand shape hypotheses; (ii) a generalized hand-shadow alignment module to infer coarse hand poses with a similarity-driven strategy for selecting hypotheses; and (iii) a shadow-feature-aware refinement module to optimize the hand poses for physical plausibility and shadow feature preservation. Further, we design our pipeline to be trainable on generic public hand data, thus avoiding the need for any specialized training dataset. For method validation, we build a benchmark of 210 diverse shadow shapes of varying complexity and a comprehensive set of metrics, including a novel DINOv2-based evaluation metric. Through extensive comparisons with multiple baselines and user studies, our approach is demonstrated to effectively generate bimanual hand poses for a large variety of hand shapes for over 85% of the benchmark cases.