Through the PRISm: Importance-Aware Scene Graphs for Image Retrieval

📄 arXiv: 2512.18407v1 📥 PDF

作者: Dimitrios Georgoulopoulos, Nikolaos Chaidos, Angeliki Dimitriou, Giorgos Stamou

分类: cs.CV

发布日期: 2025-12-20

备注: 10 pages, 5 figures

💡 一句话要点

提出PRISm框架，通过重要性预测场景图实现更精准的图像检索

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像检索 场景图 图神经网络 重要性预测 多模态学习

📋 核心要点

  1. 传统图像检索方法难以捕捉场景中的关系和上下文信息，导致检索结果在语义相似性上表现不佳。
  2. PRISm框架通过重要性预测模块和边缘感知图神经网络，显式建模对象及其关系的语义重要性，从而提升检索精度。
  3. 实验结果表明，PRISm在多个数据集上取得了优异的Top-Rank检索性能，并能产生可解释的语义结果。

📝 摘要（中文）

本文提出了一种名为PRISm（基于剪枝的图像检索，通过语义图上的重要性预测）的多模态框架，用于提升图像检索的准确性。该框架包含两个创新组件：首先，重要性预测模块识别并保留图像中最关键的对象和关系三元组，同时剪除不相关的元素。其次，边缘感知图神经网络显式地编码关系结构，并整合全局视觉特征，以生成包含丰富语义信息的图像嵌入。PRISm通过显式地建模对象及其交互的语义重要性，实现了与人类感知更一致的图像检索，这是现有方法所缺乏的能力。该架构有效地结合了关系推理和视觉表示，从而实现基于语义的检索。在基准和真实世界数据集上的大量实验表明，PRISm始终如一地实现了卓越的Top-Rank检索性能，定性分析表明PRISm能够准确地捕获关键对象和交互，产生可解释且具有语义意义的结果。

🔬 方法详解

问题定义：图像检索旨在根据语义相似性检索图像，现有方法无法有效捕捉图像中对象之间的关系和上下文信息，导致检索结果与人类感知存在偏差。这些方法通常平等对待所有对象和关系，忽略了它们在语义上的重要性差异。

核心思路：PRISm的核心思路是通过预测图像中对象和关系的重要性，并利用图神经网络显式地建模这些关系，从而生成更具语义信息的图像嵌入。通过关注关键对象和关系，并忽略不相关的元素，PRISm能够更准确地捕捉图像的语义内容。

技术框架：PRISm框架包含两个主要模块：1) 重要性预测模块：该模块负责识别和保留图像中最关键的对象和关系三元组，同时剪除不相关的元素。2) 边缘感知图神经网络：该模块显式地编码关系结构，并整合全局视觉特征，以生成包含丰富语义信息的图像嵌入。整个流程包括：输入图像 -> 对象检测和关系提取 -> 重要性预测 -> 图构建 -> 图神经网络编码 -> 图像嵌入 -> 检索。

关键创新：PRISm的关键创新在于引入了重要性预测模块，该模块能够根据对象和关系在图像语义中的重要性进行选择性保留和剪枝。这与传统方法平等对待所有对象和关系的做法形成鲜明对比。此外，边缘感知图神经网络的设计也考虑了关系结构的显式建模，进一步提升了语义信息的表达能力。

关键设计：重要性预测模块可能使用了注意力机制或类似的方法来预测对象和关系的重要性得分。损失函数可能包含一个用于鼓励重要性预测准确性的项，例如交叉熵损失。图神经网络可能采用了消息传递机制，以便在节点之间传递关系信息。具体的网络结构和参数设置在论文中应该有详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PRISm在基准和真实世界数据集上进行了广泛的实验，结果表明其Top-Rank检索性能始终优于现有方法。定性分析表明，PRISm能够准确地捕获关键对象和交互，并产生可解释的语义结果。具体的性能提升数据需要在论文中查找（未知）。

🎯 应用场景

PRISm框架可应用于各种图像检索场景，例如：电商平台的商品搜索、图像搜索引擎、医学图像检索、以及基于内容的图像库管理。该研究有助于提升检索结果的语义相关性，改善用户体验，并为更智能的图像理解和分析提供基础。

📄 摘要（原文）

Accurately retrieving images that are semantically similar remains a fundamental challenge in computer vision, as traditional methods often fail to capture the relational and contextual nuances of a scene. We introduce PRISm (Pruning-based Image Retrieval via Importance Prediction on Semantic Graphs), a multimodal framework that advances image-to-image retrieval through two novel components. First, the Importance Prediction Module identifies and retains the most critical objects and relational triplets within an image while pruning irrelevant elements. Second, the Edge-Aware Graph Neural Network explicitly encodes relational structure and integrates global visual features to produce semantically informed image embeddings. PRISm achieves image retrieval that closely aligns with human perception by explicitly modeling the semantic importance of objects and their interactions, capabilities largely absent in prior approaches. Its architecture effectively combines relational reasoning with visual representation, enabling semantically grounded retrieval. Extensive experiments on benchmark and real-world datasets demonstrate consistently superior top-ranked performance, while qualitative analyses show that PRISm accurately captures key objects and interactions, producing interpretable and semantically meaningful results.