X-AVDD: Cross-Attentive Audio-Visual Dataset Distillation

📄 arXiv: 2610.13687v1 📥 PDF

作者: Saumyaranjan Mohanty, Aravind Reddy, Konda Reddy Mopuri

分类: cs.CV, cs.LG, cs.SD

发布日期: 2026-10-09

备注: Accepted at NeurIPS 2026. Camera-ready version forthcoming. 17 pages, 6 figures, 16 tables

💡 一句话要点

提出X-AVDD以解决音视频数据蒸馏中的内存和语义对应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 音视频理解 数据蒸馏 跨模态学习 深度学习 神经网络

📋 核心要点

  1. 现有音视频数据蒸馏方法存在内存消耗大和跨模态语义对应不足的问题，限制了其在复杂架构中的应用。
  2. X-AVDD通过跨注意力机制显式捕捉音视频之间的关系，解耦跨模态对齐与联合优化，从而提高内存效率。
  3. 在VGGSound数据集上，X-AVDD在SPC=10时将准确率从8.2%提升至24.0%，在SPC=20时提升至26.5%，显示出显著的性能提升。

📝 摘要（中文）

音视频数据蒸馏旨在从大型配对音视频数据集中合成小型数据集，同时尽可能保留神经网络的训练效用。现有方法如DM和AVDD面临两个关键限制：一是内存消耗大，难以扩展到复杂架构和更高的每类样本数（SPC）设置；二是常常未能有效保持跨模态的语义对应。为了解决这些问题，本文提出了X-AVDD，这是一种基于跨注意力的蒸馏方法，明确捕捉合成过程中的跨模态关系。通过将跨模态对齐与联合优化解耦，X-AVDD显著提高了内存效率，减少了约8倍的端到端合成成本，同时生成高度对齐的合成数据。实验证明，X-AVDD在音视频蒸馏方法中显著优于其他方法。

🔬 方法详解

问题定义：本文旨在解决音视频数据蒸馏中的内存消耗大和跨模态语义对应不足的问题。现有方法如DM和AVDD在处理复杂架构和高样本数时表现不佳。

核心思路：X-AVDD采用跨注意力机制，明确捕捉音视频之间的关系，通过解耦跨模态对齐与联合优化，显著提高了内存效率和合成数据的对齐性。

技术框架：X-AVDD的整体架构包括数据输入模块、跨注意力机制模块和合成输出模块。数据输入模块负责接收音视频数据，跨注意力机制模块用于捕捉模态间的关系，合成输出模块生成最终的合成数据。

关键创新：X-AVDD的主要创新在于其跨注意力机制的引入，使得跨模态对齐与优化过程分开进行，从而在内存使用上实现了显著的优化。

关键设计：在设计上，X-AVDD使用了特定的损失函数来优化跨模态对齐，并在网络结构中引入了高效的注意力机制，以减少计算复杂度和内存占用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

X-AVDD在VGGSound数据集上表现出色，在SPC=10时将准确率从8.2%提升至24.0%，在SPC=20时提升至26.5%。此外，在AVE数据集上，X-AVDD在ViT架构下的准确率从25.5%提升至35.3%，并在使用仅5.65%完整数据集的情况下，训练时间比完整数据集低9倍。

🎯 应用场景

该研究的潜在应用领域包括音视频理解、自动化内容生成和多模态学习等。通过提高音视频数据蒸馏的效率，X-AVDD能够帮助研究人员和开发者在有限的数据和计算资源下，训练出更强大的模型，推动相关领域的发展。

📄 摘要（原文）

Audio-visual dataset distillation aims to synthesize a small dataset from a large paired audio-visual dataset, while nearly preserving the training utility for neural networks. Existing approaches such as DM and AVDD face two critical limitations: 1) they are memory-intensive, making them difficult to scale to complex architectures and higher samples-per-class (SPC) settings, and 2) they often fail to preserve strong cross-modal semantic correspondence. To tackle these issues, we propose X-AVDD, a cross-attention-based distillation method that explicitly captures inter-modal relationships during synthesis. By decoupling cross-modal alignment from joint optimization, X-AVDD is substantially more memory-efficient, reducing end-to-end synthesis cost by $\sim 8\times$ GPU-hours, while producing highly aligned synthetic data. Empirically, X-AVDD significantly outperforms other audio-visual distillation methods. On VGGSound, an audio-visual dataset of short YouTube clips, X-AVDD improves top-1 test accuracy from $8.2\%\rightarrow24.0\%$ at SPC=$10$ and $9.8\%\rightarrow26.5\%$ at SPC=$20$. Furthermore, X-AVDD improves cross-architecture generalization (e.g., $25.5\%\rightarrow35.3\%$ for a ViT target on AVE dataset at SPC $=50$) and successfully scales to complex architectures such as AudioCLIP, achieving $62.3\%$ accuracy using only $5.65\%$ of the full dataset, against the full dataset accuracy of $72.4\%$ while completing in $9\times$ lower training time compared to the full dataset.