MMAudio-LABEL: Audio Event Labeling via Audio Generation for Silent Video

📄 arXiv: 2605.00495v1 📥 PDF

作者: Kazuya Tateishi, Akira Takahashi, Atsuo Hiroe, Hirofumi Takeda, Shusuke Takahashi, Yuki Mitsufuji

分类: cs.SD, cs.CV

发布日期: 2026-05-01

备注: Accepted to the CVPR 2026 Sight and Sound Workshop

💡 一句话要点

提出MMAudio-LABEL框架，通过联合生成音频和事件标签，提升无声视频的音频事件标注性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频生成 声音事件检测 多模态学习 视频理解 事件感知 联合学习 无声视频

📋 核心要点

  1. 现有方法通过后处理方式对生成音频进行事件检测，存在误差累积问题，限制了标注精度。
  2. MMAudio-LABEL框架联合生成音频和帧对齐的声音事件预测，实现事件感知的音频生成。
  3. 实验表明，该方法在起始点检测和材料分类任务上显著优于基线方法，提升了标注准确率。

📝 摘要（中文）

近年来，多模态生成技术的进步使得从无声视频生成高质量音频成为可能。然而，实际应用（如声音制作）不仅需要生成的音频，还需要明确的声音事件标签，详细说明声音的类型和时间。一种直接的方法是将标准的声音事件检测应用于生成的音频。但是，这种后处理流程本质上是受限的，因为它容易出现误差累积。为了解决这个限制，我们提出了MMAudio-LABEL（基于潜在变量的事件标注），这是一个事件感知的音频生成框架，它以一个基础音频生成模型作为骨干，从无声视频中联合生成音频和帧对齐的声音事件预测。我们在Greatest Hits数据集上评估了我们的方法，用于起始点检测和17类材料分类。我们的方法将起始点检测的准确率从46.7%提高到75.0%，材料分类的准确率从40.6%提高到61.0%，超过了基线方法。这些结果表明，联合学习音频生成和事件预测能够实现更具可解释性和实用性的视频到音频合成。

🔬 方法详解

问题定义：论文旨在解决从无声视频生成音频并进行精确声音事件标注的问题。现有方法通常采用两阶段策略：首先生成音频，然后使用声音事件检测器标注生成的音频。这种后处理方式的痛点在于误差累积，即音频生成中的错误会传递到事件检测阶段，导致标注精度下降。

核心思路：论文的核心思路是联合学习音频生成和声音事件预测。通过将声音事件预测融入到音频生成过程中，模型可以更好地理解视频内容与声音事件之间的关系，从而生成更准确的音频和事件标签。这种端到端的学习方式避免了误差累积，提高了整体性能。

技术框架：MMAudio-LABEL框架基于一个基础音频生成模型作为骨干网络。该框架包含两个主要分支：音频生成分支和事件预测分支。音频生成分支负责从无声视频中生成音频，事件预测分支负责预测与视频帧对齐的声音事件标签。这两个分支共享一部分潜在表示，并通过联合损失函数进行训练，从而实现相互促进。

关键创新：该论文最重要的技术创新点在于提出了事件感知的音频生成框架，将声音事件预测融入到音频生成过程中。与传统的两阶段方法相比，该框架能够更好地利用视频信息，生成更准确的音频和事件标签。此外，该框架还采用了潜在变量表示，使得模型能够更好地捕捉视频内容与声音事件之间的复杂关系。

关键设计：论文中使用了基础音频生成模型作为骨干网络，具体模型结构未知。损失函数由音频生成损失和事件预测损失组成，用于联合优化两个分支的性能。事件预测分支的网络结构未知，但需要能够输出与视频帧对齐的声音事件标签。具体的参数设置和训练策略未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MMAudio-LABEL框架在Greatest Hits数据集上显著优于基线方法。在起始点检测任务中，准确率从46.7%提高到75.0%，提升了28.3%。在17类材料分类任务中，准确率从40.6%提高到61.0%，提升了20.4%。这些结果充分证明了联合学习音频生成和事件预测的有效性。

🎯 应用场景

该研究成果可应用于电影制作、游戏开发、虚拟现实等领域，为无声视频添加逼真的声音效果和精确的声音事件标签。此外，该技术还可用于辅助听觉障碍人士理解视频内容，提升他们的生活质量。未来，该技术有望进一步发展，实现更智能、更个性化的音频生成和事件标注。

📄 摘要（原文）

Recent advances in multimodal generation have enabled high-quality audio generation from silent videos. Practical applications, such as sound production, demand not only the generated audio but also explicit sound event labels detailing the type and timing of sounds. One straightforward approach involves applying a standard sound event detection to the generated audio. However, this post-hoc pipeline is inherently limited, as it is prone to error accumulation. To address this limitation, we propose MMAudio-LABEL (LAtent-Based Event Labeling), an event-aware audio generation framework built on a foundational audio generation model as its backbone that jointly generates audio and frame-aligned sound event predictions from silent videos. We evaluate our method on the Greatest Hits dataset for onset detection and 17-class material classification. Our approach improves onset-detection accuracy from 46.7% to 75.0% and material-classification accuracy from 40.6% to 61.0% over baselines. These results suggest that jointly learning audio generation and event prediction enables a more interpretable and practical video-to-audio synthesis.