EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation

📄 arXiv: 2512.24731v1 📥 PDF

作者: Bingxuan Li, Yiming Cui, Yicheng He, Yiwei Wang, Shu Zhang, Longyin Wen, Yulei Niu

分类: cs.CV

发布日期: 2025-12-31

💡 一句话要点

提出EchoFoley任务与EchoVidia框架，用于视频事件驱动的精细化创意声音生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频配乐 声音生成 事件驱动 细粒度控制 多模态学习

📋 核心要点

  1. 现有视频-文本-音频模型存在视觉主导、缺乏细粒度控制和指令理解不足等问题，限制了创意声音生成。
  2. 提出EchoFoley任务，通过事件级的局部控制和层级语义控制，实现视频驱动的精细化声音生成。
  3. 构建大规模数据集EchoFoley-6k，并提出EchoVidia框架，实验表明其在可控性和感知质量上显著优于现有模型。

📝 摘要（中文）

本文提出EchoFoley任务，旨在解决视频配乐中视觉主导、缺乏细粒度控制以及指令理解不足的问题。EchoFoley任务专注于视频事件驱动的声音生成，通过符号化表示声音事件的发生时间、内容和方式，实现声音生成、插入和编辑等精细控制。为此，作者构建了包含6000多个视频-指令-标注三元组的大规模数据集EchoFoley-6k。同时，提出了基于事件中心和快慢思考策略的生成框架EchoVidia。实验结果表明，EchoVidia在可控性上超越现有视频-文本-音频模型40.7%，在感知质量上提升12.5%。

🔬 方法详解

问题定义：现有视频-文本-音频（VT2A）模型在视频配乐任务中存在三个主要痛点：一是视觉信息过度主导，忽略了文本指令的作用；二是缺乏对生成过程的细粒度控制，难以实现精确的声音编辑和插入；三是对指令的理解能力较弱，无法准确捕捉指令中的语义信息。这些问题导致生成的音频效果与视频内容和用户意图不符。

核心思路：本文的核心思路是以视频中的“声音事件”为中心，将声音生成过程分解为一系列可控的事件。通过对每个事件进行精确的时间、内容和方式的标注，实现对声音生成的细粒度控制。同时，采用快慢思考策略，首先快速理解视频内容和指令，然后逐步生成高质量的音频。

技术框架：EchoVidia框架采用事件中心（sounding-event-centric）的架构，包含以下主要模块：1) 视频和文本编码器，用于提取视频和指令的特征；2) 事件预测模块，用于预测视频中发生的声音事件；3) 音频生成模块，根据预测的事件和视频/文本特征生成相应的音频片段；4) 音频合成模块，将生成的音频片段组合成完整的音频。框架采用快慢思考策略，首先通过快速推理确定事件的大致内容，然后通过慢速推理生成高质量的音频细节。

关键创新：本文最重要的创新点在于提出了事件中心的声音生成方法，将声音生成过程分解为一系列可控的事件，从而实现了对声音生成的细粒度控制。此外，构建了大规模的EchoFoley-6k数据集，为该领域的研究提供了有力支持。

关键设计：EchoVidia框架的关键设计包括：1) 使用Transformer网络作为视频和文本编码器，以捕捉长距离依赖关系；2) 设计了专门的事件预测模块，用于预测视频中发生的声音事件；3) 采用生成对抗网络（GAN）作为音频生成模块，以生成高质量的音频；4) 使用了多种损失函数，包括事件预测损失、音频生成损失和对抗损失，以优化模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EchoVidia框架在EchoFoley-6k数据集上取得了显著的性能提升。在可控性指标上，EchoVidia超越现有VT2A模型40.7%；在感知质量指标上，提升了12.5%。这些数据表明，本文提出的方法在视频驱动的声音生成任务中具有显著优势。

🎯 应用场景

该研究成果可应用于视频编辑、游戏开发、虚拟现实等领域。通过EchoFoley任务和EchoVidia框架，用户可以更加方便地为视频添加高质量、可控的声音效果，提升用户体验。未来，该技术有望应用于智能配乐、自动音效生成等领域，为内容创作提供更强大的支持。

📄 摘要（原文）

Sound effects build an essential layer of multimodal storytelling, shaping the emotional atmosphere and the narrative semantics of videos. Despite recent advancement in video-text-to-audio (VT2A), the current formulation faces three key limitations: First, an imbalance between visual and textual conditioning that leads to visual dominance; Second, the absence of a concrete definition for fine-grained controllable generation; Third, weak instruction understanding and following, as existing datasets rely on brief categorical tags. To address these limitations, we introduce EchoFoley, a new task designed for video-grounded sound generation with both event level local control and hierarchical semantic control. Our symbolic representation for sounding events specifies when, what, and how each sound is produced within a video or instruction, enabling fine-grained controls like sound generation, insertion, and editing. To support this task, we construct EchoFoley-6k, a large-scale, expert-curated benchmark containing over 6,000 video-instruction-annotation triplets. Building upon this foundation, we propose EchoVidia a sounding-event-centric agentic generation framework with slow-fast thinking strategy. Experiments show that EchoVidia surpasses recent VT2A models by 40.7% in controllability and 12.5% in perceptual quality.