AVSD-Scenes: A Dataset for Audio-Visual Description of Urban Scenes

📄 arXiv: 2610.01861v1 📥 PDF

作者: Dhanunjaya Varma Devalraju, Arshdeep Singh, Mark D. Plumbley

分类: cs.AI, cs.SD, eess.AS

发布日期: 2026-10-01

备注: Submitted to ICASSP 2027

💡 一句话要点

提出AVSD-Scenes数据集以解决城市场景音视频描述不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频描述 多模态学习 城市场景 数据集构建 语义对齐 跨模态检索 自然语言处理

📋 核心要点

  1. 现有的数据集在音频和视觉信息的联合描述方面存在不足，限制了对城市场景的全面理解。
  2. 论文提出AVSD-Scenes数据集，通过结合音频和视觉描述，利用大型语言模型生成多模态描述，解决了这一问题。
  3. 实验结果显示，生成的多模态描述在城市场景分类中准确率达到94.5%，结合多种嵌入后提升至95.4%。

📝 摘要（中文）

自然语言描述能够提供丰富的音视频城市场景的语义表示，但目前联合描述音频和视觉信息的数据集仍然有限。本文介绍了AVSD-Scenes，这是一个针对城市环境的配对音视频场景描述数据集，包含12,291个音视频场景描述。数据集的构建首先使用Qwen2-Audio-7B和Qwen2.5-VL-7B生成音频和视觉描述，然后通过大型语言模型（如Qwen3-14B等）将这些模态特定的描述结合，生成捕捉两种模态互补信息的多模态描述。基准测试结果表明，多模态描述在语义对齐和跨模态检索性能上优于单一模态描述，同时保留了强大的场景区分信息。

🔬 方法详解

问题定义：本文旨在解决现有数据集中音频和视觉信息联合描述不足的问题，现有方法往往只关注单一模态，导致信息的缺失和理解的局限性。

核心思路：通过结合音频和视觉描述，利用大型语言模型生成多模态描述，捕捉两种模态的互补信息，从而提高描述的语义丰富性和准确性。

技术框架：整体流程包括首先生成音频和视觉描述，然后使用大型语言模型将其结合，最后进行多模态描述的评估和基准测试。主要模块包括描述生成、模态结合和性能评估。

关键创新：最重要的创新在于构建了一个大规模的音视频场景描述数据集AVSD-Scenes，并通过多模态描述提升了语义对齐和跨模态检索的性能，区别于以往单一模态的描述方法。

关键设计：在描述生成中，使用了Qwen2-Audio-7B和Qwen2.5-VL-7B进行模态特定描述生成，结合时采用了Qwen3-14B等大型语言模型，确保描述的语义一致性和丰富性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，生成的多模态描述在城市场景分类中准确率达到94.5%，而结合音频、视觉和描述嵌入后，准确率进一步提升至95.4%。这些结果显示出多模态描述在语义对齐和跨模态检索中的显著优势。

🎯 应用场景

AVSD-Scenes数据集的构建为城市场景的音视频理解提供了新的研究基础，潜在应用包括智能城市监控、自动驾驶系统中的环境理解以及增强现实等领域。未来，该数据集可推动多模态学习和自然语言处理的进一步发展。

📄 摘要（原文）

Natural language descriptions can provide rich semantic representations of audio-visual urban scenes, yet datasets that jointly describe both auditory and visual information remain limited. In this paper, we introduce AVSD-Scenes, a paired audio-visual scene description dataset for urban environments. The dataset contains 12,291 audio-visual scene descriptions generated from the TAU Urban Audio-Visual Scenes dataset. To construct the dataset, we first generate audio- and visual-based descriptions using Qwen2-Audio-7B and Qwen2.5-VL-7B, respectively. These modality-specific descriptions are then combined using large language models, namely Qwen3-14B, Mistral-Small-3.2-24B-Instruct-2506, and Gemma-3-27B-it, to produce multimodal descriptions that capture complementary information from both modalities. We benchmark AVSD-Scenes using semantic alignment, cross-modal retrieval, scene classification, LLM-as-a-judge evaluation, and human subjective assessment. Results show that multimodal descriptions improve semantic alignment and cross-modal retrieval performance compared with modality-specific descriptions while preserving strong scene-discriminative information. The generated descriptions achieve up to 94.5% accuracy in urban scene classification, while combining audio, visual, and description embeddings further improves accuracy to 95.4%. Furthermore, the descriptions remain highly scene-discriminative even when scene labels are removed from the prompting instructions, indicating that they capture semantic information derived from the audio-visual content rather than merely reflecting label information.