Event-Driven Refresh and Recurrence Memory to Reduce Stale Grounding in Referring Video Object Segmentation

📄 arXiv: 2609.38758v1 📥 PDF

作者: Abu Hanif Muhammad Syarubany, Jaehyun Jang, Siwoo Lim, Seungyeon Ryu, Chang D. Yoo

分类: cs.CV

发布日期: 2026-09-30

备注: submitted to IEEE Access

💡 一句话要点

提出事件驱动刷新与记忆机制以解决视频物体分割中的过时问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频物体分割 事件驱动机制 记忆机制 动态视频分析 多模态融合

📋 核心要点

  1. 现有的引用视频物体分割方法在长视频中容易出现过时的定位和误报，尤其是在对象组成变化时。
  2. 本文提出的EDRRM机制通过在稳定变化点触发刷新，结合事件评分和记忆机制，提升了模型的适应性。
  3. 实验结果显示，EDRRM在Ref-DAVIS17、MeViS和ReVOS数据集上实现了更高的准确性和效率，降低了误报率。

📝 摘要（中文）

引用视频物体分割（RVOS）旨在为自然语言指定的对象生成像素级掩膜序列。现有方法Sa2VA依赖于固定初始关键帧进行推理，导致在长视频中出现过时的定位和持续的误报。本文提出事件驱动刷新与记忆机制（EDRRM），在稳定变化点选择性地重新调用Sa2VA，通过平滑的事件评分和时间约束触发刷新边界，并利用CLIP相似性检索锚帧以重新调整模型。实验表明，EDRRM在准确性和效率上相较于基线方法表现优越，显著降低了误报率。

🔬 方法详解

问题定义：本文解决的是引用视频物体分割中的过时定位问题，现有方法在长视频中依赖固定关键帧，导致在对象变化时产生误报和定位失效。

核心思路：提出事件驱动刷新与记忆机制（EDRRM），通过在稳定变化点选择性地重新调用Sa2VA，利用事件评分触发刷新，并通过记忆机制增强模型对重新出现事件的适应性。

技术框架：EDRRM的整体架构包括事件评分计算模块、刷新触发机制和记忆检索模块。事件评分通过平滑的指数移动平均（EMA）计算，结合对象的出生、消亡和布局变化。记忆模块通过CLIP相似性检索锚帧。

关键创新：EDRRM的核心创新在于通过事件驱动的方式选择性刷新模型，避免了不必要的计算开销，同时有效降低了误报率。这一方法与传统的固定窗口方法有本质区别。

关键设计：在参数设置上，使用EMA平滑事件评分，并设定时间约束以确保刷新在适当时机进行。损失函数和网络结构与Sa2VA相结合，确保模型在动态环境中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EDRRM在Ref-DAVIS17、MeViS和ReVOS数据集上实现了与固定窗口和FrameDiff-SSIM基线方法相当或更优的J&F分数，同时显著降低了平均刷新调用预算，减少了误报失败的发生。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能家居等场景，能够有效提升系统在动态环境中的物体识别和跟踪能力。未来，该方法有望在实时视频分析和人机交互中发挥重要作用。

📄 摘要（原文）

Referring Video Object Segmentation (RVOS) aims to produce a pixel-accurate mask sequence for an object specified by natural language. Sa2VA combines a multimodal large language model with SAM2 for grounded segmentation; however, its inference typically grounds the query from a small fixed set of initial keyframes and then relies on propagation. In long or dynamic videos, this can cause stale grounding and persistent false positives when the object composition changes (e.g., distractors enter or the target disappears/re-appears). We propose Event-Driven Refresh + Recurrence Memory (EDRRM), an enhancement that selectively re-invokes Sa2VA only at stable change points. EDRRM triggers refresh boundaries using an EMA-smoothed event score computed from tracking-derived cues (births/deaths and coarse composition/layout changes) with temporal constraints. A recurrence memory further retrieves anchor frames via CLIP similarity to re-condition the model on re-appearance events. Experiments on Ref-DAVIS17, MeViS, and ReVOS show that EDRRM achieves a competitive accuracy-efficiency trade-off relative to fixed-window and FrameDiff-SSIM baselines, maintaining comparable or superior J&F scores at substantially lower average refresh-call budgets and reducing false-positive failures. End-to-end runtime analysis further confirms that the overhead introduced by tracking, CLIP-based recurrence matching, and the identifiability gate remains modest relative to the dominant Sa2VA inference cost, thereby validating the efficiency of the proposed pipeline.