LLM4SGG: Large Language Models for Weakly Supervised Scene Graph Generation

📄 arXiv: 2310.10404v8 📥 PDF

作者: Kibum Kim, Kanghoon Yoon, Jaehyeong Jeon, Yeonjun In, Jinyoung Moon, Donghyun Kim, Chanyoung Park

分类: cs.CV, cs.AI, cs.LG

发布日期: 2023-10-16 (更新: 2024-07-29)

备注: 8 pages; CVPR 2024

期刊: CVPR (2024), 28306-28316

💡 一句话要点

提出LLM4SGG以解决弱监督场景图生成中的语义简化与低密度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 弱监督学习 场景图生成 大型语言模型 三元组提取 计算机视觉 数据效率 链式思维 少量学习

📋 核心要点

  1. 现有WSSGG方法在三元组形成过程中存在语义简化和低密度场景图问题，导致训练数据不足。
  2. 本文提出LLM4SGG，通过大型语言模型的语言理解和推理能力，优化三元组提取和对齐过程。
  3. 实验结果表明，LLM4SGG在Visual Genome和GQA数据集上显著提升了Recall@K和平均Recall@K性能。

📝 摘要（中文）

弱监督场景图生成（WSSGG）研究作为全监督方法的替代方案，利用图像标题提取未定位的三元组。然而，现有方法在三元组形成过程中存在两个主要问题：一是语义过于简化，导致细粒度谓词被粗粒度谓词替代，二是低密度场景图问题，许多三元组未被有效利用。为了解决这两个问题，本文提出了一种新方法LLM4SGG，利用大型语言模型（LLM）的语言理解和推理能力，在提取三元组和对齐实体/谓词类别时进行优化。通过链式思维和上下文少量学习策略，LLM4SGG在Visual Genome和GQA数据集上进行了广泛实验，显示出在Recall@K和平均Recall@K方面显著优于现有WSSGG方法，并且具有数据高效性，能够在少量训练图像下有效训练模型。

🔬 方法详解

问题定义：本文旨在解决弱监督场景图生成中的两个主要问题：一是从图像标题中提取三元组时的语义过于简化，导致细粒度谓词丢失；二是对齐过程中低密度场景图问题，许多三元组未被有效利用，影响训练效果。

核心思路：论文提出LLM4SGG，通过利用大型语言模型的深度语言理解和推理能力，改善三元组的提取和对齐过程。采用链式思维和上下文少量学习策略，使模型在处理复杂语义时更加灵活和高效。

技术框架：LLM4SGG的整体架构包括三个主要模块：1) 三元组提取模块，利用LLM从图像标题中提取未定位的三元组；2) 对齐模块，将提取的三元组与目标实体/谓词类别进行对齐；3) 训练模块，使用优化后的三元组进行模型训练。

关键创新：最重要的技术创新在于结合了大型语言模型的推理能力与链式思维策略，使得三元组提取和对齐过程更加精准，显著提高了模型的表现。与现有方法相比，LLM4SGG在处理复杂语义时展现出更强的适应性。

关键设计：在模型设计中，采用了特定的损失函数以优化三元组的提取质量，并通过少量样本学习策略增强模型的泛化能力。此外，网络结构经过精心设计，以确保在处理多样化输入时的稳定性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLM4SGG在Visual Genome和GQA数据集上显著提升了Recall@K和平均Recall@K，具体提升幅度超过了现有最先进的WSSGG方法，证明了其在数据效率和性能上的优势。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的场景理解、自动图像标注和人机交互等。通过提高弱监督场景图生成的效率和准确性，LLM4SGG能够在实际应用中减少对昂贵标注数据的依赖，推动智能系统的普及与发展。

📄 摘要（原文）

Weakly-Supervised Scene Graph Generation (WSSGG) research has recently emerged as an alternative to the fully-supervised approach that heavily relies on costly annotations. In this regard, studies on WSSGG have utilized image captions to obtain unlocalized triplets while primarily focusing on grounding the unlocalized triplets over image regions. However, they have overlooked the two issues involved in the triplet formation process from the captions: 1) Semantic over-simplification issue arises when extracting triplets from captions, where fine-grained predicates in captions are undesirably converted into coarse-grained predicates, resulting in a long-tailed predicate distribution, and 2) Low-density scene graph issue arises when aligning the triplets in the caption with entity/predicate classes of interest, where many triplets are discarded and not used in training, leading to insufficient supervision. To tackle the two issues, we propose a new approach, i.e., Large Language Model for weakly-supervised SGG (LLM4SGG), where we mitigate the two issues by leveraging the LLM's in-depth understanding of language and reasoning ability during the extraction of triplets from captions and alignment of entity/predicate classes with target data. To further engage the LLM in these processes, we adopt the idea of Chain-of-Thought and the in-context few-shot learning strategy. To validate the effectiveness of LLM4SGG, we conduct extensive experiments on Visual Genome and GQA datasets, showing significant improvements in both Recall@K and mean Recall@K compared to the state-of-the-art WSSGG methods. A further appeal is that LLM4SGG is data-efficient, enabling effective model training with a small amount of training images.