CutClaw: Agentic Hours-Long Video Editing via Music Synchronization

📄 arXiv: 2603.29664v1 📥 PDF

作者: Shifang Zhao, Yihan Hu, Ying Shan, Yunchao Wei, Xiaodong Cun

分类: cs.CV

发布日期: 2026-03-31

备注: Project Code: https://github.com/GVCLab/CutClaw

🔗 代码/项目: GITHUB

💡 一句话要点

CutClaw：提出基于音乐同步的多智能体框架，实现小时级视频的自动剪辑。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频编辑 多智能体系统 多模态学习 音乐同步 长视频理解

📋 核心要点

  1. 手动视频编辑耗时且重复性高，对电影制作人和专业内容创作者来说是一个长期挑战。
  2. CutClaw提出一种多智能体框架，利用多模态语言模型，将长视频自动剪辑成与音乐同步的短视频。
  3. 实验结果表明，CutClaw在生成高质量、节奏对齐的视频方面，显著优于现有最佳方法。

📝 摘要（中文）

本文介绍了一种名为CutClaw的自主多智能体框架，旨在将数小时的原始视频素材编辑成有意义的短视频。该框架利用多个多模态语言模型（MLLM）作为智能体系统，生成与音乐同步、遵循指令且具有视觉吸引力的视频。具体而言，该方法首先采用分层多模态分解，捕捉视觉和音频素材中的细粒度细节和全局结构。然后，为了确保叙事一致性，剧作家智能体（Playwriter Agent）编排整个故事流程并构建长期叙事，将视觉场景锚定到音乐变化。最后，为了构建一个短的编辑视频，编辑智能体（Editor Agent）和审查智能体（Reviewer Agent）通过基于严格的美学和语义标准选择细粒度的视觉内容来协同优化最终剪辑。详细的实验表明，CutClaw在生成高质量、节奏对齐的视频方面显著优于最先进的基线方法。

🔬 方法详解

问题定义：当前社交媒体中，与音频对齐的视频编辑是一种数字艺术形式。然而，人工编辑长视频非常耗时且重复，现有方法难以高效地将数小时的原始素材转化为高质量的短视频，同时保证叙事连贯性和视觉吸引力。

核心思路：CutClaw的核心思路是利用多智能体系统模拟人类编辑流程，将复杂的视频编辑任务分解为多个智能体协同完成。通过剧作家智能体规划叙事结构，编辑和审查智能体优化剪辑效果，最终实现高质量的自动视频编辑。音乐同步是视频编辑的重要线索，论文利用音乐节奏来驱动视频内容的切换。

技术框架：CutClaw框架包含三个主要智能体：剧作家智能体（Playwriter Agent）、编辑智能体（Editor Agent）和审查智能体（Reviewer Agent）。首先，通过分层多模态分解提取视频和音频的特征。然后，剧作家智能体根据音乐节奏规划视频的叙事结构，确定关键场景。编辑智能体根据叙事结构和美学标准选择合适的视觉内容。最后，审查智能体对编辑结果进行评估和优化，确保视频的质量和连贯性。

关键创新：CutClaw的关键创新在于将多智能体系统应用于长视频自动编辑，并引入了剧作家智能体来规划视频的叙事结构。这种方法能够有效地处理长视频的复杂性和多样性，生成具有叙事性和吸引力的短视频。此外，该框架还利用音乐同步作为视频编辑的重要线索，提高了视频的节奏感和观赏性。

关键设计：CutClaw使用了多模态语言模型作为智能体的基础，使其具备理解和生成自然语言的能力。剧作家智能体使用强化学习来优化叙事结构，编辑智能体使用深度学习模型来评估视觉内容的质量和相关性。审查智能体则结合人工反馈和自动评估指标来优化最终的剪辑结果。具体参数设置和损失函数等细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CutClaw在生成高质量、节奏对齐的视频方面显著优于现有最佳方法。具体的性能数据、对比基线和提升幅度未在摘要中详细说明，属于未知信息。但摘要强调了CutClaw在生成高质量和节奏对齐视频方面的优越性。

🎯 应用场景

CutClaw可应用于短视频内容创作、广告制作、新闻编辑等领域。它能够显著降低视频编辑的时间和成本，提高内容生产效率。未来，该技术有望进一步应用于个性化视频推荐、智能视频监控等领域，具有广阔的应用前景。

📄 摘要（原文）

Editing the video content with audio alignment forms a digital human-made art in current social media. However, the time-consuming and repetitive nature of manual video editing has long been a challenge for filmmakers and professional content creators alike. In this paper, we introduce CutClaw, an autonomous multi-agent framework designed to edit hours-long raw footage into meaningful short videos that leverages the capabilities of multiple Multimodal Language Models~(MLLMs) as an agent system. It produces videos with synchronized music, followed by instructions, and a visually appealing appearance. In detail, our approach begins by employing a hierarchical multimodal decomposition that captures both fine-grained details and global structures across visual and audio footage. Then, to ensure narrative consistency, a Playwriter Agent orchestrates the whole storytelling flow and structures the long-term narrative, anchoring visual scenes to musical shifts. Finally, to construct a short edited video, Editor and Reviewer Agents collaboratively optimize the final cut via selecting fine-grained visual content based on rigorous aesthetic and semantic criteria. We conduct detailed experiments to demonstrate that CutClaw significantly outperforms state-of-the-art baselines in generating high-quality, rhythm-aligned videos. The code is available at: https://github.com/GVCLab/CutClaw.