RealisDance-DiT: Simple yet Strong Baseline towards Controllable Character Animation in the Wild

📄 arXiv: 2504.14977v1 📥 PDF

作者: Jingkai Zhou, Yifan Wu, Shikai Li, Min Wei, Chao Fan, Weihua Chen, Wei Jiang, Fan Wang

分类: cs.CV

发布日期: 2025-04-21

备注: Project Page: https://thefoxofsky.github.io/project_pages_new/RealisDance-DiT/index

💡 一句话要点

RealisDance-DiT：基于DiT的简单而强大的可控角色动画基线模型

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可控角色动画 扩散模型 视频生成 Transformer 微调策略

📋 核心要点

  1. 现有可控角色动画方法在处理复杂场景（如罕见姿势、风格化角色交互等）时泛化性不足。
  2. RealisDance-DiT通过对强大的视频基础模型进行最小修改和灵活微调，实现了在开放场景下的可控角色动画。
  3. 实验表明，RealisDance-DiT在多个数据集上显著优于现有方法，证明了其有效性和优越性。

📝 摘要（中文）

可控角色动画仍然是一个具有挑战性的问题，尤其是在处理罕见姿势、风格化角色、角色与物体的交互、复杂光照和动态场景时。为了解决这些问题，先前的工作主要集中于通过精心设计的旁路网络注入姿势和外观引导，但通常难以推广到开放世界场景。本文提出了一种新的视角，即只要基础模型足够强大，通过灵活的微调策略对模型进行简单的修改就可以在很大程度上解决上述挑战，从而朝着在野外实现可控角色动画迈出一步。具体来说，我们介绍了RealisDance-DiT，它建立在Wan-2.1视频基础模型之上。我们的充分分析表明，广泛采用的Reference Net设计对于大规模DiT模型来说是次优的。相反，我们证明对基础模型架构进行最小的修改会产生一个非常强大的基线。我们进一步提出了低噪声预热和“大批量和小迭代”策略，以加速微调期间的模型收敛，同时最大限度地保留基础模型的先验知识。此外，我们引入了一个新的测试数据集，该数据集捕获了各种现实世界的挑战，补充了现有的基准，例如TikTok数据集和UBC时尚视频数据集，以全面评估所提出的方法。大量的实验表明，RealisDance-DiT的性能大大优于现有方法。

🔬 方法详解

问题定义：论文旨在解决开放场景下可控角色动画的难题。现有方法依赖复杂的旁路网络来注入姿势和外观信息，但泛化能力较弱，难以应对真实世界中复杂的光照、动态场景以及角色与物体的交互等情况。

核心思路：论文的核心思路是，如果基础模型足够强大，则可以通过对基础模型进行简单的修改和灵活的微调策略，就能有效解决可控角色动画的挑战。避免了过度依赖复杂的旁路网络，而是充分利用预训练模型的先验知识。

技术框架：RealisDance-DiT建立在Wan-2.1视频基础模型之上，采用Diffusion Transformer (DiT)架构。整体流程包括：1) 选择一个强大的视频基础模型；2) 对模型架构进行最小修改；3) 使用低噪声预热和“大批量和小迭代”策略进行微调；4) 在包含真实世界挑战的新测试数据集上进行评估。

关键创新：论文的关键创新在于发现并证明了，对于大规模DiT模型，简单的模型修改和微调策略比复杂的Reference Net设计更有效。此外，提出了低噪声预热和“大批量和小迭代”的微调策略，加速模型收敛并保留了基础模型的先验知识。

关键设计：论文的关键设计包括：1) 对Wan-2.1视频基础模型进行最小的架构修改，具体修改细节未知；2) 采用低噪声预热策略，逐步增加噪声水平，避免模型过早陷入局部最优；3) 使用“大批量和小迭代”策略，在保证训练效率的同时，更好地保留预训练模型的知识；4) 引入新的测试数据集，包含更多真实世界的挑战，更全面地评估模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RealisDance-DiT在多个数据集上取得了显著的性能提升，具体提升幅度未知，但论文强调其性能大幅优于现有方法。此外，论文还提出了新的测试数据集，包含更多真实世界的挑战，为可控角色动画的研究提供了更全面的评估基准。

🎯 应用场景

RealisDance-DiT在游戏开发、虚拟现实、电影制作等领域具有广泛的应用前景。它可以用于生成逼真且可控的角色动画，提升用户体验和内容创作效率。该研究为未来开发更强大的通用角色动画系统奠定了基础，有望推动相关产业的发展。

📄 摘要（原文）

Controllable character animation remains a challenging problem, particularly in handling rare poses, stylized characters, character-object interactions, complex illumination, and dynamic scenes. To tackle these issues, prior work has largely focused on injecting pose and appearance guidance via elaborate bypass networks, but often struggles to generalize to open-world scenarios. In this paper, we propose a new perspective that, as long as the foundation model is powerful enough, straightforward model modifications with flexible fine-tuning strategies can largely address the above challenges, taking a step towards controllable character animation in the wild. Specifically, we introduce RealisDance-DiT, built upon the Wan-2.1 video foundation model. Our sufficient analysis reveals that the widely adopted Reference Net design is suboptimal for large-scale DiT models. Instead, we demonstrate that minimal modifications to the foundation model architecture yield a surprisingly strong baseline. We further propose the low-noise warmup and "large batches and small iterations" strategies to accelerate model convergence during fine-tuning while maximally preserving the priors of the foundation model. In addition, we introduce a new test dataset that captures diverse real-world challenges, complementing existing benchmarks such as TikTok dataset and UBC fashion video dataset, to comprehensively evaluate the proposed method. Extensive experiments show that RealisDance-DiT outperforms existing methods by a large margin.