SynergyWarpNet: Attention-Guided Cooperative Warping for Neural Portrait Animation
作者: Shihang Li, Zhiqiang Gong, Minming Ye, Yue Gao, Wen Yao
分类: cs.CV
发布日期: 2025-12-19
备注: Submitted to ICASSP 2026
💡 一句话要点
SynergyWarpNet：用于神经肖像动画的注意力引导协同扭曲网络
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经肖像动画 说话人头部合成 注意力机制 图像扭曲 参考图像增强 3D光流 交叉注意力
📋 核心要点
- 现有神经肖像动画方法在运动传递和处理遮挡区域时存在不足，显式扭曲方法精度低，注意力机制方法复杂度高。
- SynergyWarpNet通过注意力引导的协同扭曲框架，结合显式扭曲、参考图像增强和置信度引导融合，提升动画质量。
- 实验结果表明，该方法在基准数据集上取得了state-of-the-art的性能，验证了其在高保真说话人头部合成方面的有效性。
📝 摘要（中文）
神经肖像动画在虚拟化身、远程呈现和数字内容创作等应用中展现出显著潜力。然而，传统的显式扭曲方法通常难以实现精确的运动传递或恢复缺失区域。最近基于注意力的扭曲方法虽然有效，但经常面临高复杂性和较弱的几何基础。为了解决这些问题，我们提出了SynergyWarpNet，一个用于高保真说话人头部合成的注意力引导协同扭曲框架。给定源肖像、驱动图像和一组参考图像，我们的模型逐步细化动画，分为三个阶段。首先，显式扭曲模块使用3D稠密光流执行源图像和驱动图像之间的粗略空间对齐。接下来，参考增强校正模块利用跨3D关键点和来自多个参考图像的纹理特征的交叉注意力，以语义方式完成遮挡或扭曲的区域。最后，置信度引导融合模块通过空间自适应融合集成扭曲的输出，使用学习的置信度图来平衡结构对齐和视觉一致性。在基准数据集上的全面评估表明了最先进的性能。
🔬 方法详解
问题定义：神经肖像动画旨在根据驱动图像，将源肖像进行动画处理，使其呈现出驱动图像中的表情和姿态。现有方法主要存在两个痛点：一是传统的显式扭曲方法难以精确地进行运动传递，尤其是在面部表情复杂或头部姿态变化较大的情况下；二是遮挡区域或扭曲区域的恢复效果不佳，导致合成的动画不自然。
核心思路：SynergyWarpNet的核心思路是结合显式扭曲的几何先验和注意力机制的语义理解能力，通过协同扭曲的方式逐步优化动画效果。首先利用显式扭曲进行粗略的空间对齐，然后利用参考图像和注意力机制对遮挡和扭曲区域进行语义补全，最后通过置信度引导的融合，平衡结构对齐和视觉一致性。
技术框架：SynergyWarpNet包含三个主要模块：1) 显式扭曲模块：利用3D稠密光流估计源图像和驱动图像之间的对应关系，进行粗略的空间对齐。2) 参考增强校正模块：利用交叉注意力机制，从多个参考图像中提取相关特征，对遮挡或扭曲区域进行语义补全。3) 置信度引导融合模块：学习一个置信度图，根据置信度图对显式扭曲的结果和参考增强校正的结果进行融合，平衡结构对齐和视觉一致性。
关键创新：该论文的关键创新在于提出了一个注意力引导的协同扭曲框架，将显式扭曲和注意力机制相结合，充分利用了显式扭曲的几何先验和注意力机制的语义理解能力。此外，参考增强校正模块通过引入多个参考图像，有效地解决了遮挡和扭曲区域的恢复问题。
关键设计：在参考增强校正模块中，使用了交叉注意力机制，计算源图像和参考图像之间的相似度，从而提取相关的特征。置信度引导融合模块中，置信度图是通过一个卷积神经网络学习得到的，用于衡量显式扭曲结果和参考增强校正结果的可靠性。损失函数包括重建损失、对抗损失和感知损失，用于保证合成图像的质量和真实感。
🖼️ 关键图片
📊 实验亮点
SynergyWarpNet在多个基准数据集上进行了评估，实验结果表明，该方法在视觉质量和结构一致性方面均优于现有的state-of-the-art方法。例如，在VoxCeleb1数据集上，SynergyWarpNet在LPIPS指标上取得了显著的提升，表明其合成的动画在视觉上更加逼真和自然。
🎯 应用场景
SynergyWarpNet在虚拟化身、远程呈现和数字内容创作等领域具有广泛的应用前景。它可以用于创建逼真的虚拟形象，实现高质量的远程视频会议，以及生成各种有趣的数字内容，例如动画短片和特效视频。该技术还有潜力应用于游戏开发、社交媒体和教育等领域，为用户提供更加沉浸式和个性化的体验。
📄 摘要（原文）
Recent advances in neural portrait animation have demonstrated remarked potential for applications in virtual avatars, telepresence, and digital content creation. However, traditional explicit warping approaches often struggle with accurate motion transfer or recovering missing regions, while recent attention-based warping methods, though effective, frequently suffer from high complexity and weak geometric grounding. To address these issues, we propose SynergyWarpNet, an attention-guided cooperative warping framework designed for high-fidelity talking head synthesis. Given a source portrait, a driving image, and a set of reference images, our model progressively refines the animation in three stages. First, an explicit warping module performs coarse spatial alignment between the source and driving image using 3D dense optical flow. Next, a reference-augmented correction module leverages cross-attention across 3D keypoints and texture features from multiple reference images to semantically complete occluded or distorted regions. Finally, a confidence-guided fusion module integrates the warped outputs with spatially-adaptive fusing, using a learned confidence map to balance structural alignment and visual consistency. Comprehensive evaluations on benchmark datasets demonstrate state-of-the-art performance.