DTFSal: Audio-Visual Dynamic Token Fusion for Video Saliency Prediction

📄 arXiv: 2504.10070v2 📥 PDF

作者: Kiana Hooshanfar, Alireza Hosseini, Ahmad Kalhor, Babak Nadjar Araabi

分类: cs.CV

发布日期: 2025-04-14 (更新: 2025-04-16)

💡 一句话要点

提出DTFSal以解决音视频显著性预测中的多模态融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频显著性预测 多模态融合 动态令牌融合 可学习模块 计算效率

📋 核心要点

  1. 现有的音视频显著性预测方法在整合听觉线索时面临复杂的时空交互和高计算需求的挑战。
  2. DTFSal框架通过引入可学习的令牌增强和动态融合模块，优化了音视频特征的融合过程，提升了显著性预测的准确性。
  3. 在六个音视频基准上，DTFSal展示了最先进的性能，且在计算效率上也表现出色。

📝 摘要（中文）

音视频显著性预测旨在通过整合视觉和听觉信息来模拟人类的视觉注意力，识别视频中的显著区域。尽管仅基于视觉的方法取得了显著进展，但有效整合听觉线索仍然面临复杂的时空交互和高计算需求等挑战。为此，本文提出了一种新颖的音视频显著性预测框架DTFSal，旨在平衡准确性与计算效率。该方法采用多尺度视觉编码器，并引入了可学习的令牌增强模块（LTEB）和动态可学习令牌融合模块（DLTFB），以有效捕捉长距离依赖和详细的空间信息。同时，音频分支处理原始音频信号以提取有意义的听觉特征。通过自适应多模态融合模块（AMFB）将视觉和音频特征进行精确融合，最终通过分层多解码器结构生成准确的显著性图。大量评估表明，DTFSal在六个音视频基准上实现了最先进的性能，同时保持了计算效率。

🔬 方法详解

问题定义：本文旨在解决音视频显著性预测中有效整合视觉和听觉信息的难题。现有方法在处理复杂的时空交互和高计算需求时存在显著不足。

核心思路：DTFSal通过引入可学习的令牌增强模块（LTEB）和动态可学习令牌融合模块（DLTFB），以自适应的方式强调重要的显著性线索，从而提高预测的准确性和效率。

技术框架：DTFSal的整体架构包括多尺度视觉编码器、音频特征提取分支、自适应多模态融合模块（AMFB）和分层多解码器结构。视觉和音频特征通过AMFB进行融合，最终生成显著性图。

关键创新：DTFSal的主要创新在于引入了LTEB和DLTFB模块，这些模块能够有效捕捉长距离依赖和细节信息，显著提升了音视频特征的融合效果。

关键设计：在设计中，LTEB通过自适应权重调整令牌，DLTFB则通过移动操作重组和合并特征，AMFB则采用局部、全局和自适应融合流来实现精确的跨模态融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DTFSal在六个音视频基准上实现了最先进的性能，相较于现有方法，显著性预测的准确性提高了X%（具体数据未知），同时保持了较低的计算开销，展示了良好的实用性。

🎯 应用场景

该研究在音视频分析、智能监控、自动视频摘要等领域具有广泛的应用潜力。通过提高显著性预测的准确性，DTFSal能够为多模态内容理解提供更为精准的支持，推动相关技术的发展。

📄 摘要（原文）

Audio-visual saliency prediction aims to mimic human visual attention by identifying salient regions in videos through the integration of both visual and auditory information. Although visual-only approaches have significantly advanced, effectively incorporating auditory cues remains challenging due to complex spatio-temporal interactions and high computational demands. To address these challenges, we propose Dynamic Token Fusion Saliency (DFTSal), a novel audio-visual saliency prediction framework designed to balance accuracy with computational efficiency. Our approach features a multi-scale visual encoder equipped with two novel modules: the Learnable Token Enhancement Block (LTEB), which adaptively weights tokens to emphasize crucial saliency cues, and the Dynamic Learnable Token Fusion Block (DLTFB), which employs a shifting operation to reorganize and merge features, effectively capturing long-range dependencies and detailed spatial information. In parallel, an audio branch processes raw audio signals to extract meaningful auditory features. Both visual and audio features are integrated using our Adaptive Multimodal Fusion Block (AMFB), which employs local, global, and adaptive fusion streams for precise cross-modal fusion. The resulting fused features are processed by a hierarchical multi-decoder structure, producing accurate saliency maps. Extensive evaluations on six audio-visual benchmarks demonstrate that DFTSal achieves SOTA performance while maintaining computational efficiency.