Unleashing the Temporal-Spatial Reasoning Capacity of GPT for Training-Free Audio and Language Referenced Video Object Segmentation

📄 arXiv: 2408.15876v2 📥 PDF

作者: Shaofei Huang, Rui Ling, Hongyu Li, Tianrui Hui, Zongheng Tang, Xiaoming Wei, Jizhong Han, Si Liu

分类: cs.CV

发布日期: 2024-08-28 (更新: 2024-12-23)

备注: Accepted by AAAI 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出AL-Ref-SAM 2，利用GPT时空推理能力实现免训练的音视频参照目标分割

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频参照分割 语言参照视频目标分割 GPT-4 时空推理 免训练 视频理解 目标分割

📋 核心要点

  1. 现有方法在音视频参照分割任务中，缺乏对视频时空上下文的有效利用，导致分割结果对时空变化不够鲁棒。
  2. AL-Ref-SAM 2流程利用GPT-4强大的时空推理能力，通过GPT-PS模块选择关键帧和目标框，为SAM 2提供高质量的初始提示。
  3. 实验结果表明，该免训练流程在AVS和RVOS任务上取得了与全监督微调方法相媲美甚至更优越的性能。

📝 摘要（中文）

本文提出了一种名为AL-Ref-SAM 2的音视频参照分割（AVS）和语言参照视频目标分割（RVOS）的免训练流程。直观的解决方案是利用GroundingDINO从单帧中识别目标对象，并使用SAM 2在整个视频中分割识别出的对象，但由于缺乏视频上下文探索，这种方法对时空变化不够鲁棒。因此，在AL-Ref-SAM 2流程中，我们提出了一种新颖的GPT辅助枢轴选择（GPT-PS）模块，该模块指示GPT-4执行两步时空推理，以顺序选择枢轴帧和枢轴框，从而为SAM 2提供高质量的初始对象提示。在GPT-PS中，设计了两个特定于任务的思维链提示，通过引导GPT基于对视频和参考信息的全面理解进行选择，来释放GPT的时空推理能力。此外，我们提出了一种语言绑定参考统一（LBRU）模块，将音频信号转换为语言格式的参考，从而在同一流程中统一AVS和RVOS任务的格式。在两个任务上的大量实验表明，我们的免训练AL-Ref-SAM 2流程实现了与完全监督微调方法相当甚至更好的性能。

🔬 方法详解

问题定义：论文旨在解决音视频参照分割（AVS）和语言参照视频目标分割（RVOS）任务中，现有方法对视频时空上下文利用不足的问题。现有方法通常依赖于单帧的目标检测结果，然后利用分割模型进行视频中的目标分割，这种方式忽略了视频帧之间的时间相关性，容易受到视频中目标形变、遮挡等因素的影响，导致分割结果不稳定。

核心思路：论文的核心思路是利用GPT-4强大的时空推理能力，辅助选择视频中的关键帧和目标框，从而为分割模型提供更准确、更鲁棒的初始提示。通过让GPT-4理解视频内容和参考信息，可以更好地捕捉视频中的时空变化，提高分割的准确性和稳定性。

技术框架：AL-Ref-SAM 2流程主要包含两个核心模块：GPT辅助枢轴选择（GPT-PS）模块和语言绑定参考统一（LBRU）模块。首先，LBRU模块将音频信号转换为语言格式的参考，统一AVS和RVOS任务的输入格式。然后，GPT-PS模块利用GPT-4进行两步时空推理，首先选择关键帧（pivot frames），然后在关键帧中选择目标框（pivot boxes）。最后，将选择的关键帧和目标框作为提示，输入到SAM 2模型中进行视频目标分割。

关键创新：论文最重要的创新点在于提出了GPT辅助枢轴选择（GPT-PS）模块，该模块利用GPT-4强大的时空推理能力，为分割模型提供高质量的初始提示。与现有方法相比，GPT-PS模块能够更好地理解视频内容和参考信息，从而选择更具代表性的关键帧和目标框。此外，LBRU模块统一了AVS和RVOS任务的输入格式，使得可以使用相同的流程处理不同的任务。

关键设计：GPT-PS模块中，设计了两个特定于任务的思维链（Chain-of-Thought）提示，引导GPT-4基于对视频和参考信息的全面理解进行选择。LBRU模块使用预训练的音频编码器将音频信号转换为语言嵌入，然后将语言嵌入与文本参考进行融合。具体参数设置和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AL-Ref-SAM 2在AVS和RVOS任务上取得了与全监督微调方法相当甚至更好的性能，证明了该免训练流程的有效性。具体性能数据和对比基线在论文中给出，但此处未提供详细数值。该方法无需训练，降低了使用门槛，具有很强的实用价值。

🎯 应用场景

该研究成果可应用于智能视频监控、自动驾驶、视频编辑、人机交互等领域。例如，在智能视频监控中，可以自动分割和跟踪视频中的特定目标，提高监控效率。在自动驾驶中，可以帮助车辆识别和理解周围环境，提高驾驶安全性。在视频编辑中，可以快速分割视频中的目标对象，方便进行特效处理和内容创作。

📄 摘要（原文）

In this paper, we propose an Audio-Language-Referenced SAM 2 (AL-Ref-SAM 2) pipeline to explore the training-free paradigm for audio and language-referenced video object segmentation, namely AVS and RVOS tasks. The intuitive solution leverages GroundingDINO to identify the target object from a single frame and SAM 2 to segment the identified object throughout the video, which is less robust to spatiotemporal variations due to a lack of video context exploration. Thus, in our AL-Ref-SAM 2 pipeline, we propose a novel GPT-assisted Pivot Selection (GPT-PS) module to instruct GPT-4 to perform two-step temporal-spatial reasoning for sequentially selecting pivot frames and pivot boxes, thereby providing SAM 2 with a high-quality initial object prompt. Within GPT-PS, two task-specific Chain-of-Thought prompts are designed to unleash GPT's temporal-spatial reasoning capacity by guiding GPT to make selections based on a comprehensive understanding of video and reference information. Furthermore, we propose a Language-Binded Reference Unification (LBRU) module to convert audio signals into language-formatted references, thereby unifying the formats of AVS and RVOS tasks in the same pipeline. Extensive experiments on both tasks show that our training-free AL-Ref-SAM 2 pipeline achieves performances comparable to or even better than fully-supervised fine-tuning methods. The code is available at: https://github.com/appletea233/AL-Ref-SAM2.