DyMD: Preserving Interaction Dynamics through Distribution Matching Distillation in Few-Step Video World Models

📄 arXiv: 2609.31349v1 📥 PDF

作者: Haojun Xu, Jie Huang, Xin Lu, Mingchen Zhong, Zihao Fan, Linjiang Huang, Si Liu

分类: cs.CV, cs.AI

发布日期: 2026-09-25

💡 一句话要点

提出DyMD以解决视频生成中的动态交互问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频生成 动态交互 分布匹配蒸馏 机器人学习 少步生成 视觉质量 智能体决策

📋 核心要点

  1. 现有的DMD方法在生成视频时，容易导致机器人与物体的运动不足，影响交互效果。
  2. DyMD通过动态调整教师监督和评论员拟合，结合时间亲和性条件的重噪声采样，改善了运动恢复与外观精细化的平衡。
  3. 实验表明，DyMD在R-Bench和PAI-Bench-G基准测试中，学生模型的任务遵循性和成功率均有显著提升。

📝 摘要（中文）

大型视频扩散模型为具身预测和学习提供了丰富的先验知识，但其多步采样在交互性下游应用中成本高昂。分布匹配蒸馏（DMD）能够实现少步视频生成，但可能抑制机器人与物体的运动。本文提出DyMD框架，通过适应教师监督和评论员拟合来改善动态交互的生成质量。实验结果表明，使用DyMD的学生模型在多个基准测试中显著提高了任务遵循性和成功率，同时保持了视觉质量。

🔬 方法详解

问题定义：本文旨在解决现有DMD方法在视频生成中对机器人与物体运动的抑制问题，导致生成的交互动态不足。

核心思路：DyMD框架通过动态调整教师监督和评论员拟合，利用时间亲和性条件的重噪声采样，适应每个生成回合的交互保真度，从而改善运动恢复与外观精细化的平衡。

技术框架：DyMD的整体架构包括教师模型、学生模型和评论员模块。教师模型提供监督信号，学生模型进行生成，评论员模块则负责评估生成质量并调整损失函数。

关键创新：DyMD的创新在于动态调整教师监督和评论员拟合，尤其是通过动态引导的伪评分跟踪，提升了对强运动生成的跟踪能力，与传统DMD方法相比，显著改善了生成的交互动态。

关键设计：在DyMD中，使用了噪声条件预测器来估计噪声相对拟合难度，并在评论员损失中对预测困难的生成回合进行加权，确保生成模型能够更好地学习动态交互。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用DyMD的学生模型在R-Bench任务遵循性上提高了9.6个百分点，在PAI-Bench-G领域得分上提高了5.1分。同时，该学生模型在两个WorldArena任务中的平均成功率达到了34%，相比之下，Base DMD仅为16%。

🎯 应用场景

DyMD的研究成果在机器人控制、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提高视频生成的动态交互能力，DyMD能够为智能体在复杂环境中的决策和行为规划提供更为精准的支持，推动相关技术的发展与应用。

📄 摘要（原文）

Large video diffusion models offer expressive priors for embodied prediction and learning, yet their many-step sampling remains costly for interactive downstream use. Distribution Matching Distillation (DMD) enables few-step video generation, but can suppress robot--object motion while preserving visual quality. Examining DMD's teacher and fake-score signals, we find that weak re-noising keeps the teacher posterior concentrated near motion-deficient rollouts, limiting motion-restoring guidance. Meanwhile, stronger-motion rollouts tend to incur larger fake-score fitting errors, which can hinder the generator's learning of interaction dynamics. We propose DyMD, a DMD framework that adapts both teacher supervision and critic fitting to the evolving student. Temporal affinity--conditioned re-noise sampling adapts the timestep distribution to each rollout's current interaction fidelity by mixing the base schedule with a teacher prior motivated by local posterior variation, thereby balancing motion recovery and appearance refinement. To better track stronger-motion rollouts, dynamics-guided fake-score tracking uses a noise-conditioned predictor to estimate noise-relative fitting difficulty from latent temporal dynamics, then upweights predicted-hard rollouts in the critic loss. Using DyMD, we distill a 14B teacher into a four-step 1.3B student with no auxiliary modules at inference. On embodied-video benchmarks, the student improves R-Bench task adherence by $9.6$ percentage points and PAI-Bench-G Domain score by $5.1$ points over Base DMD while maintaining comparable visual quality. As a backbone for downstream action planning, our student achieves 34% mean success across two WorldArena tasks, compared with 16% for Base DMD.