Seeing Beyond the Scene: Enhancing Vision-Language Models with Interactional Reasoning

📄 arXiv: 2505.09118v1 📥 PDF

作者: Dayong Liang, Changmeng Zheng, Zhiyuan Wen, Yi Cai, Xiao-Yong Wei, Qing Li

分类: cs.CV

发布日期: 2025-05-14

💡 一句话要点

提出ISGR框架，通过交互推理增强视觉-语言模型对复杂场景的理解能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 视觉-语言模型 场景图 交互推理 强化学习 长期记忆

📋 核心要点

  1. 现有场景图侧重空间关系，缺乏对复杂交互的推理能力，限制了视觉-语言模型的效果。
  2. ISGR框架结合空间关系提取、交互感知字幕生成和交互查询，增强模型对对象功能的理解和推理。
  3. 通过长期记忆强化学习，ISGR将瞬时交互模式转化为长期推理启发式，显著提升复杂场景理解能力。

📝 摘要（中文）

传统场景图主要关注空间关系，限制了视觉-语言模型(VLMs)对视觉场景中复杂交互进行推理的能力。本文针对两个关键挑战：(1)传统的检测-构建方法产生不聚焦、上下文无关的关系集合；(2)现有方法无法形成持久记忆，以将交互推理推广到新场景。我们提出了交互增强场景图推理(ISGR)框架，通过三个互补组件增强VLMs的交互推理能力。首先，我们的双流图构造器结合了SAM驱动的空间关系提取和交互感知字幕生成，以生成具有空间基础的功能显著的场景图。其次，我们采用有针对性的交互查询来激活VLMs关于对象功能的潜在知识，将被动识别转化为关于对象如何协同工作的主动推理。最后，我们引入了一种具有专门的交互聚焦奖励函数的长期记忆强化学习策略，将瞬时模式转化为长期推理启发式。大量实验表明，我们的方法在交互密集型推理基准上显著优于基线方法，尤其是在复杂场景理解任务上。

🔬 方法详解

问题定义：现有视觉-语言模型在处理涉及复杂交互的视觉场景时表现不佳。传统的场景图构建方法往往侧重于空间关系，忽略了对象之间的功能性交互，导致模型无法有效推理场景中对象如何协同工作。此外，现有方法缺乏将交互推理能力泛化到新场景的机制，难以应对真实世界的多样性。

核心思路：ISGR的核心思路是通过显式地建模对象之间的交互关系，并利用长期记忆机制来提升模型的推理能力。该方法通过结合空间关系和交互感知信息来构建更丰富的场景图，并使用交互查询来激活模型关于对象功能的潜在知识。此外，通过强化学习，模型能够学习到长期有效的交互推理策略。

技术框架：ISGR框架包含三个主要组件：(1) 双流图构造器：结合SAM驱动的空间关系提取和交互感知字幕生成，生成功能显著的场景图。(2) 交互查询模块：通过有针对性的查询，激活VLMs关于对象功能的潜在知识，促进主动推理。(3) 长期记忆强化学习：利用专门的交互聚焦奖励函数，将瞬时模式转化为长期推理启发式。整体流程是从图像中提取对象和关系，构建场景图，然后通过交互查询和强化学习来提升模型的推理能力。

关键创新：ISGR的关键创新在于其对交互关系的显式建模和长期记忆机制的引入。与传统方法仅关注空间关系不同，ISGR同时考虑了对象之间的功能性交互，从而能够更全面地理解场景。此外，通过强化学习，模型能够学习到长期有效的推理策略，从而提升泛化能力。

关键设计：双流图构造器利用SAM进行精确的空间关系提取，并结合交互感知字幕生成来补充功能性信息。交互查询模块设计了特定的查询语句，以激活VLMs的潜在知识。长期记忆强化学习采用交互聚焦奖励函数，鼓励模型学习有效的交互推理策略。具体的参数设置和网络结构在论文的实验部分有详细描述，例如奖励函数的具体形式和强化学习算法的选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ISGR在交互密集型推理基准上显著优于基线方法。尤其是在复杂场景理解任务上，ISGR取得了显著的性能提升。具体的数据指标和对比结果可以在论文的实验部分找到，例如在某个特定数据集上，ISGR的准确率比最佳基线方法提高了X%。

🎯 应用场景

该研究成果可应用于智能机器人、自动驾驶、视频监控等领域。例如，在机器人领域，该技术可以帮助机器人更好地理解周围环境，从而执行更复杂的任务。在自动驾驶领域，该技术可以帮助车辆更好地理解交通场景，从而提高驾驶安全性。在视频监控领域，该技术可以帮助分析人员更好地理解视频内容，从而提高监控效率。

📄 摘要（原文）

Traditional scene graphs primarily focus on spatial relationships, limiting vision-language models' (VLMs) ability to reason about complex interactions in visual scenes. This paper addresses two key challenges: (1) conventional detection-to-construction methods produce unfocused, contextually irrelevant relationship sets, and (2) existing approaches fail to form persistent memories for generalizing interaction reasoning to new scenes. We propose Interaction-augmented Scene Graph Reasoning (ISGR), a framework that enhances VLMs' interactional reasoning through three complementary components. First, our dual-stream graph constructor combines SAM-powered spatial relation extraction with interaction-aware captioning to generate functionally salient scene graphs with spatial grounding. Second, we employ targeted interaction queries to activate VLMs' latent knowledge of object functionalities, converting passive recognition into active reasoning about how objects work together. Finally, we introduce a lone-term memory reinforcement learning strategy with a specialized interaction-focused reward function that transforms transient patterns into long-term reasoning heuristics. Extensive experiments demonstrate that our approach significantly outperforms baseline methods on interaction-heavy reasoning benchmarks, with particularly strong improvements on complex scene understanding tasks. The source code can be accessed at https://github.com/open_upon_acceptance.