Physics-Informed Diffusion for Biomechanically Plausible 3D Sign Language Generation
作者: Emanuele Colonna, Moises Diaz, Gennaro Vessio, Miguel Angel Ferrer, Giovanna Castellano
分类: cs.CV
发布日期: 2026-07-16
💡 一句话要点
提出物理信息扩散模型以生成生物力学合理的3D手语
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 手语生成 物理信息 扩散模型 生物力学 Transformer 姿态估计 解剖约束
📋 核心要点
- 现有手语生成方法在处理骨长漂移和关节角度违规等生物力学约束时存在不足，导致生成的手势不够自然。
- PIDiffSign模型通过引入物理信息，结合Transformer编码器-解码器架构，实现了手语生成中的解剖约束。
- 在PHOENIX14T和CSL-Daily基准测试中，PIDiffSign在姿态准确性和关节角度正确性上均显著优于强基线模型。
📝 摘要（中文）
手语生成需要同时满足语义准确性和生物力学合理性。现有方法在优化语义重建时，未能有效处理骨长漂移和关节角度违规等问题。本文提出PIDiffSign，一个物理信息扩散模型，通过将解剖约束融入架构和训练目标，实现手语的准确生成。实验结果表明，该模型在姿态准确性、关节角度正确性等方面显著优于现有基线，展示了物理信息扩散在手语生成中的有效性。
🔬 方法详解
问题定义：本文旨在解决手语生成中的生物力学合理性问题。现有方法往往将骨架视为无结构向量，导致生成的手势存在骨长漂移和关节角度违规等问题。
核心思路：PIDiffSign模型通过物理信息扩散，结合解剖约束，确保生成的手势在语义和生物力学上均合理。通过将解剖约束融入模型架构和训练目标，提升生成质量。
技术框架：该模型采用Transformer编码器-解码器结构，解码器通过自适应零初始化层归一化与扩散时间步相结合，并对手语表示进行交叉注意。引入可微几何模块以确保骨长一致性和生物学有效的关节角度。
关键创新：最重要的创新在于将物理信息与扩散模型相结合，确保生成的手势不仅在语义上准确，同时在生物力学上合理。这与现有方法的本质区别在于对解剖约束的重视。
关键设计：训练过程中结合了人形、运动学、角度和手指关节约束，使用对比手语-姿态对齐损失和无分类器引导进行语义条件采样。
🖼️ 关键图片
📊 实验亮点
在PHOENIX14T和CSL-Daily基准测试中，PIDiffSign模型在姿态准确性、关节角度正确性、分布现实性和回译质量上均显著优于强基线，展示了物理信息扩散在手语生成中的有效性。
🎯 应用场景
该研究的潜在应用领域包括手语翻译、虚拟现实中的人机交互以及辅助技术，能够为听障人士提供更自然的交流方式。未来，该模型可能在多模态交互和机器人手语生成中发挥重要作用。
📄 摘要（原文）
Sign language production, which generates continuous 3D skeletal motion from spoken language input, must simultaneously satisfy two constraints: semantic fidelity, so that a deaf viewer can recognize the intended sequence of glosses, and biomechanical plausibility, so that the generated skeleton respects anatomical constraints. Existing approaches optimize semantic reconstruction through coordinate-based objectives that treat the skeleton as an unstructured vector, thus allowing for bone length drift, joint angle violations, and temporarily locked fingers. We introduce PIDiffSign, a physics-informed diffusion model for gloss-to-pose translation that incorporates anatomical constraints into both the architecture and training objective. The model uses a Transformer encoder-decoder, where the decoder is conditioned on the diffusion time step through adaptive zero-initialized layer normalization and cross-attends to gloss representations. A differentiable geometry module enforces bone length consistency and biologically valid joint angles throughout generation. Training combines anthropomorphic, kinematic, angular, and finger-joint constraints with a contrastive gloss-pose alignment loss and classifier-free guidance for semantically conditioned sampling. Experiments on the PHOENIX14T and CSL-Daily benchmarks show consistent improvements over a strong diffusion baseline in pose accuracy, joint-angle correctness, distributional realism, and back-translation quality. These results demonstrate that physics-informed diffusion improves both motion realism and semantic fidelity for sign language generation.