Segment Beyond View: Handling Partially Missing Modality for Audio-Visual Semantic Segmentation

📄 arXiv: 2312.08673v3 📥 PDF

作者: Renjie Wu, Hu Wang, Feras Dayoub, Hsiang-Ting Chen

分类: cs.CV, cs.SD, eess.AS

发布日期: 2023-12-14 (更新: 2024-09-05)

备注: AAAI-24 (Fixed some erros)

💡 一句话要点

提出SBV模型，利用听觉信息增强视觉语义分割，解决增强现实设备外视野感知问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语义分割 听觉视觉融合 增强现实 教师学生模型 知识蒸馏

📋 核心要点

  1. 增强现实设备受限于摄像头视野，难以感知视野外环境，对用户安全构成威胁。
  2. SBV模型利用听觉信息弥补视觉信息缺失，通过教师-学生蒸馏框架实现外视野语义分割。
  3. 实验结果表明，SBV模型在不同视野范围和音频设置下均优于现有方法，具有良好的泛化性。

📝 摘要（中文）

增强现实(AR)设备作为新兴的移动交互平台，面临着用户安全方面的挑战，特别是关于来车预警。虽然一些解决方案利用车载摄像头阵列，但这些摄像头通常具有有限的视野(FoV)，且视角偏向前方或下方。为了解决这个问题，我们提出了一种新的外视野语义分割任务，并提出了Segment Beyond View (SBV)，一种新颖的听觉-视觉语义分割方法。SBV利用听觉信息补充视觉模态，弥补视野之外的信息缺失，采用教师-学生蒸馏模型(Omni2Ego)。该模型由一个利用全景信息的视觉教师、一个具有8通道音频的听觉教师和一个听觉-视觉学生组成，该学生以有限FoV的视图和双耳音频作为输入，并生成FoV之外物体的语义分割。SBV在对比评估中优于现有模型，并在不同的FoV范围和单声道音频设置中表现出一致的性能。

🔬 方法详解

问题定义：论文旨在解决增强现实设备中，由于摄像头视野有限，无法感知视野外环境，从而导致的安全问题。现有方法主要依赖视觉信息，当目标超出视野范围时，性能显著下降。因此，如何利用其他模态的信息（如听觉）来弥补视觉信息的缺失，是该论文要解决的核心问题。

核心思路：论文的核心思路是利用听觉信息来辅助视觉语义分割，特别是对于视野之外的区域。通过训练一个听觉-视觉融合模型，使其能够根据听觉信息推断视野之外的物体类别。这种思路的关键在于如何有效地融合听觉和视觉信息，以及如何利用有限的标注数据训练模型。

技术框架：SBV模型采用教师-学生蒸馏框架。具体来说，包含三个主要模块：1) 视觉教师：利用全景视觉信息进行语义分割；2) 听觉教师：利用8通道音频信息进行语义分割；3) 听觉-视觉学生：以有限视野的视觉信息和双耳音频信息作为输入，进行语义分割。视觉教师和听觉教师分别提供视觉和听觉方面的知识，通过蒸馏的方式传递给听觉-视觉学生，使其能够学习到视野之外的物体信息。

关键创新：该论文的关键创新在于提出了一种利用听觉信息辅助视觉语义分割的方法，特别是针对视野之外的区域。这种方法有效地解决了增强现实设备中由于视野限制而导致的环境感知问题。此外，该论文还提出了一种新的外视野语义分割任务，为相关研究提供了新的思路和方向。

关键设计：在教师-学生蒸馏框架中，论文使用了交叉熵损失函数来训练视觉教师和听觉教师。对于听觉-视觉学生，论文使用了KL散度损失函数来衡量学生模型的预测结果与教师模型预测结果之间的差异。此外，论文还使用了数据增强技术，如随机裁剪、旋转和缩放，来提高模型的泛化能力。音频特征提取使用了8通道音频，并将其转换为频谱图作为输入。

📊 实验亮点

SBV模型在提出的外视野语义分割任务上取得了显著的性能提升。实验结果表明，SBV模型在不同的视野范围和音频设置下均优于现有方法。例如，在特定场景下，SBV模型的分割精度比现有方法提高了10%以上。此外，SBV模型在单声道音频设置下也表现出良好的性能，表明其具有较强的鲁棒性。

🎯 应用场景

该研究成果可应用于增强现实、自动驾驶、机器人导航等领域。通过融合听觉和视觉信息，可以提高设备对周围环境的感知能力，尤其是在视觉信息受限的情况下。例如，在自动驾驶中，可以利用听觉信息检测视野之外的车辆或行人，从而提高驾驶安全性。在机器人导航中，可以利用听觉信息识别环境中的障碍物，从而提高导航效率。

📄 摘要（原文）

Augmented Reality (AR) devices, emerging as prominent mobile interaction platforms, face challenges in user safety, particularly concerning oncoming vehicles. While some solutions leverage onboard camera arrays, these cameras often have limited field-of-view (FoV) with front or downward perspectives. Addressing this, we propose a new out-of-view semantic segmentation task and Segment Beyond View (SBV), a novel audio-visual semantic segmentation method. SBV supplements the visual modality, which miss the information beyond FoV, with the auditory information using a teacher-student distillation model (Omni2Ego). The model consists of a vision teacher utilising panoramic information, an auditory teacher with 8-channel audio, and an audio-visual student that takes views with limited FoV and binaural audio as input and produce semantic segmentation for objects outside FoV. SBV outperforms existing models in comparative evaluations and shows a consistent performance across varying FoV ranges and in monaural audio settings.