MotionCoach: Constructing Multimodal Guidance for Video Professional Motion Editing

📄 arXiv: 2610.12963v1 📥 PDF

作者: Siyi Qian, Hanqing Yang, Weihuang Lin, Zihao Yang, Yichen Lu, Yuanhong Zheng, Sheng Li

分类: cs.CV, cs.AI, cs.MM

发布日期: 2026-10-09

💡 一句话要点

提出MotionCoach以解决专业运动编辑中的多模态指导问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频编辑 多模态指导 运动编辑 强化学习 数据管道 策略优化 专业运动

📋 核心要点

  1. 现有的视频编辑模型在处理专业运动时常常无法准确生成所需的运动效果，尤其是在缺乏详细描述的情况下。
  2. 论文提出MotionCoach，通过多模态代理生成多轮指导，结合自我验证机制，提供专业运动知识以改善视频编辑效果。
  3. 实验结果表明，MotionCoach在Seedance 2.0和MiniMax-H3数据集上分别将整体得分提升了10.5和13.3，显示出显著的性能提升。

📝 摘要（中文）

视频编辑模型在修改外观、背景、风格和动作方面表现出色，但在专业运动编辑中面临挑战。本文提出MotionCoach，一个经过训练的多模态代理，利用多轮工具和自我验证生成可靠的多模态指导，帮助视频编辑模型准确生成专业运动。为此，我们构建了数据管道以生成轨迹，并在MotionCoach-SFT-10k上进行冷启动，随后在MotionCoach-RL-2k上应用群体相对策略优化（GRPO）。通过引入VPMEBench进行评估，实验结果显示MotionCoach在Seedance 2.0和MiniMax-H3上显著提高了整体得分。

🔬 方法详解

问题定义：论文要解决专业运动编辑中缺乏详细描述导致模型无法准确生成运动效果的问题。现有方法在处理复杂的运动指令时表现不佳，常常生成错误的运动结果。

核心思路：论文的核心解决思路是引入MotionCoach，一个多模态代理，通过多轮工具和自我验证生成可靠的多模态指导，从而将外部专业运动知识注入视频编辑模型中。

技术框架：整体架构包括数据管道构建、冷启动训练和基于群体相对策略优化（GRPO）的强化学习。数据管道用于生成运动轨迹，MotionCoach-SFT-10k用于初步训练，MotionCoach-RL-2k用于优化。

关键创新：最重要的技术创新点在于引入了多模态指导生成机制，使得模型能够在不重新训练的情况下实现精确的专业运动编辑。这一方法与现有单一模态指导的方式有本质区别。

关键设计：在训练过程中，设置了针对运动指导提示、运动结果视频和格式的奖励机制，以优化模型的输出质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MotionCoach在Seedance 2.0上将整体得分从55.1提升至65.6，在MiniMax-H3上从51.2提升至64.5，分别实现了10.5和13.3的显著提升，验证了其在专业运动编辑中的有效性。

🎯 应用场景

该研究的潜在应用领域包括体育视频编辑、动作捕捉和虚拟现实等场景。通过提供精确的专业运动编辑能力，MotionCoach能够帮助内容创作者提升视频质量，增强观众体验，并在教育和培训领域中发挥重要作用。

📄 摘要（原文）

Video editing models achieve strong performance in modifying appearance, backgrounds, styles, and motions, empowered by large-scale training data. Beyond general scenarios, professional motions are significant in performance, sports, and martial arts. This paper focuses on professional motion editing, which involves fine-grained motion technique and temporal structure. Given professional motion names but lacking detailed descriptions, existing models often fail to generate professional motions, such as incorrectly lifting the front wheel under a Stoppie instruction. To address this challenge, we introduce MotionCoach, a trained multimodal agent that uses multi-turn tools and performs self-verification, producing a grounded prompt and a reference clip as reliable and sufficient multimodal guidance to inject external professional motion knowledge into video editing models. To supply training data, we build a data pipeline to construct trajectories. We cold-start the agent on MotionCoach-SFT-10k and apply Group Relative Policy Optimization (GRPO) on MotionCoach-RL-2k with rewards on the motion guidance prompt, the motion outcome video, and the format. For evaluation, we introduce VPMEBench, comprising 314 professional motion editing tasks with fine-grained references and annotations. Extensive experiments show that MotionCoach improves the overall score from 55.1 to 65.6 on Seedance 2.0 and from 51.2 to 64.5 on MiniMax-H3. Learning to construct multimodal guidance enables precise professional motion editing without retraining video editing models.