Scene Graph Generation with Role-Playing Large Language Models

📄 arXiv: 2410.15364v1 📥 PDF

作者: Guikun Chen, Jin Li, Wenguan Wang

分类: cs.CV, cs.MM

发布日期: 2024-10-20

备注: NeurIPS 2024. Code: https://github.com/guikunchen/SDSGG

💡 一句话要点

提出SDSGG框架，利用角色扮演大语言模型生成场景特定描述，提升开放词汇场景图生成性能。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 场景图生成 开放词汇 大语言模型 视觉-语言模型 角色扮演 场景特定描述 关系识别

📋 核心要点

  1. 现有开放词汇场景图生成方法采用固定文本分类器，无法有效建模视觉关系和适应不同场景。
  2. SDSGG框架利用大语言模型扮演不同角色生成场景特定描述，并自适应调整文本分类器权重。
  3. 实验结果表明，SDSGG在多个基准测试中显著优于现有方法，性能提升明显。

📝 摘要（中文）

本文提出了一种基于场景特定描述的开放词汇场景图生成（OVSGG）框架SDSGG。现有OVSGG方法使用CLIP等视觉-语言模型，采用零样本流程，计算查询图像与每个类别文本嵌入之间的相似度。本文认为，现有方法采用的文本分类器（类别/部分级别提示）是场景无关的，因为它们在不同上下文中保持不变。这种固定的文本分类器难以建模高方差的视觉关系，也无法适应不同的上下文。SDSGG通过根据视觉内容自适应调整文本分类器的权重来解决这些问题。具体来说，利用大语言模型扮演不同角色（如生物学家和工程师），从不同角度分析和讨论给定场景的描述性特征，从而生成全面且多样的场景描述。SDSGG还配备了先进的重归一化机制，根据每个文本分类器与场景的相关性来调整其影响。此外，提出了一个新的轻量级模块，即互视觉适配器，通过学习交互感知的语义空间来提高CLIP识别关系的能力。在多个基准测试上的大量实验表明，SDSGG明显优于领先的方法。

🔬 方法详解

问题定义：开放词汇场景图生成（OVSGG）旨在识别图像中物体之间的关系，并用自然语言描述这些关系。现有方法依赖于预训练的视觉-语言模型（如CLIP），通过计算图像特征和预定义的文本类别之间的相似度来进行关系分类。然而，这些方法使用的文本类别（例如，物体类别或属性）是场景无关的，即它们不考虑图像的具体内容。这种场景无关性导致模型难以捕捉复杂多变的视觉关系，并且无法根据不同的场景进行自适应调整。

核心思路：本文的核心思路是利用大语言模型（LLM）生成场景特定的描述，并将其作为文本分类器，从而使模型能够更好地理解图像的内容和上下文。具体来说，通过让LLM扮演不同的角色（例如，生物学家、工程师），从不同的角度描述图像，从而获得更全面和多样的场景理解。然后，根据这些描述与图像的相关性，自适应地调整文本分类器的权重，从而提高关系分类的准确性。

技术框架：SDSGG框架主要包含以下几个模块：1) 角色扮演的大语言模型：用于生成场景特定的描述。2) 场景特定描述的重归一化机制：用于根据描述与图像的相关性调整文本分类器的权重。3) 互视觉适配器：用于增强模型对物体之间交互关系的理解。整体流程如下：首先，将图像输入到大语言模型中，让其扮演不同的角色生成场景描述。然后，使用重归一化机制调整这些描述的权重。最后，使用互视觉适配器提取图像中物体之间的关系特征，并使用调整后的场景描述进行关系分类。

关键创新：本文最重要的技术创新点在于利用大语言模型生成场景特定的描述，并将其作为文本分类器。与现有方法使用固定的文本类别相比，这种方法能够更好地理解图像的内容和上下文，从而提高关系分类的准确性。此外，提出的重归一化机制和互视觉适配器也进一步增强了模型的性能。

关键设计：在角色扮演的大语言模型中，使用了不同的提示语来引导LLM扮演不同的角色。例如，可以使用“你是一位生物学家，请描述这张图片中的场景”这样的提示语。在重归一化机制中，使用了图像特征和场景描述之间的相似度来衡量描述与图像的相关性。在互视觉适配器中，使用了Transformer网络来学习物体之间的交互关系特征。损失函数方面，使用了交叉熵损失函数来训练关系分类器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SDSGG在Visual Genome和Open Images V6等基准测试中取得了显著的性能提升。例如，在Visual Genome数据集上，SDSGG的Recall@50指标比现有最佳方法提高了超过5个百分点。此外，消融实验验证了场景特定描述、重归一化机制和互视觉适配器等关键模块的有效性。

🎯 应用场景

该研究成果可应用于智能图像分析、视频理解、机器人导航等领域。例如，在机器人导航中，机器人可以利用场景图来理解周围环境，从而更好地进行路径规划和目标识别。在智能图像分析中，可以用于自动生成图像描述、图像检索等任务。未来，该方法有望扩展到更复杂的场景和关系类型，并与其他技术相结合，实现更高级的视觉理解能力。

📄 摘要（原文）

Current approaches for open-vocabulary scene graph generation (OVSGG) use vision-language models such as CLIP and follow a standard zero-shot pipeline -- computing similarity between the query image and the text embeddings for each category (i.e., text classifiers). In this work, we argue that the text classifiers adopted by existing OVSGG methods, i.e., category-/part-level prompts, are scene-agnostic as they remain unchanged across contexts. Using such fixed text classifiers not only struggles to model visual relations with high variance, but also falls short in adapting to distinct contexts. To plug these intrinsic shortcomings, we devise SDSGG, a scene-specific description based OVSGG framework where the weights of text classifiers are adaptively adjusted according to the visual content. In particular, to generate comprehensive and diverse descriptions oriented to the scene, an LLM is asked to play different roles (e.g., biologist and engineer) to analyze and discuss the descriptive features of a given scene from different views. Unlike previous efforts simply treating the generated descriptions as mutually equivalent text classifiers, SDSGG is equipped with an advanced renormalization mechanism to adjust the influence of each text classifier based on its relevance to the presented scene (this is what the term "specific" means). Furthermore, to capture the complicated interplay between subjects and objects, we propose a new lightweight module called mutual visual adapter. It refines CLIP's ability to recognize relations by learning an interaction-aware semantic space. Extensive experiments on prevalent benchmarks show that SDSGG outperforms top-leading methods by a clear margin.