SAM2RL: Towards Reinforcement Learning Memory Control in Segment Anything Model 2

📄 arXiv: 2507.08548v1 📥 PDF

作者: Alen Adamyan, Tomáš Čížek, Matej Straka, Klara Janouskova, Martin Schmid

分类: cs.CV, cs.LG

发布日期: 2025-07-11

💡 一句话要点

提出SAM2RL，利用强化学习优化SAM2的记忆控制，提升视频目标跟踪性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉目标跟踪 强化学习 记忆控制 SAM2 序列决策

📋 核心要点

  1. 现有SAM2方法依赖手工设计的规则更新记忆，难以适应复杂场景中的干扰和遮挡。
  2. 论文提出SAM2RL，将SAM2的记忆控制建模为序列决策问题，利用强化学习优化记忆更新策略。
  3. 实验表明，SAM2RL在过拟合设置下，性能提升显著，超过现有启发式方法的三倍以上。

📝 摘要（中文）

Segment Anything Model 2 (SAM 2) 在目标分割任务中表现出色，已成为视觉目标跟踪的最新技术。该模型将先前帧的信息存储在记忆库中，从而实现视频序列中的时间一致性。现有方法通过手工设计的更新规则来增强 SAM 2，以更好地处理干扰物、遮挡和物体运动。我们提出了一种根本不同的方法，通过将记忆控制构建为序列决策问题，利用强化学习来优化 SAM 2 中的记忆更新。在每个视频使用单独agent的过拟合设置中，我们的方法相对于 SAM 2 的相对改进超过了现有启发式方法收益的三倍以上。这些结果揭示了记忆库的未开发潜力，并强调了强化学习作为视觉目标跟踪中手工设计更新规则的强大替代方案。

🔬 方法详解

问题定义：论文旨在解决视觉目标跟踪中，如何更有效地利用和更新Segment Anything Model 2 (SAM2)的记忆库，以提升在存在干扰物、遮挡和物体运动等复杂场景下的跟踪性能。现有方法主要依赖手工设计的更新规则，这些规则难以泛化到各种不同的场景，且缺乏自适应性。

核心思路：论文的核心思路是将SAM2的记忆控制问题建模为一个序列决策问题，并利用强化学习来学习最优的记忆更新策略。通过强化学习，agent可以根据当前帧的观测和之前的记忆状态，动态地调整记忆库的更新方式，从而更好地适应不同的场景和目标运动模式。

技术框架：SAM2RL的技术框架主要包含三个部分：SAM2模型、强化学习agent和环境。SAM2模型负责提取图像特征和进行目标分割；强化学习agent负责根据当前状态（包括图像特征和记忆状态）选择记忆更新动作；环境则模拟了视频序列，并根据agent的动作更新SAM2的记忆库，并给出奖励信号。整个流程是一个循环迭代的过程，agent通过与环境的交互不断学习和优化记忆更新策略。

关键创新：该论文最重要的技术创新在于将强化学习引入到SAM2的记忆控制中。与传统的手工设计规则相比，强化学习可以自动学习最优的记忆更新策略，从而更好地适应不同的场景和目标运动模式。此外，论文还提出了一种新的奖励函数，用于指导agent学习有效的记忆更新策略。

关键设计：论文使用了一个简单的策略网络，用于根据当前状态预测记忆更新动作。状态包括图像特征和记忆状态，动作则表示对记忆库的更新方式。奖励函数的设计至关重要，论文采用了一种基于分割质量和时间一致性的奖励函数，鼓励agent选择能够提高分割质量和保持时间一致性的动作。在实验中，论文采用了每个视频单独训练一个agent的过拟合设置，以验证该方法的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAM2RL在过拟合设置下，相对于原始的SAM2模型，性能提升显著，超过了现有启发式方法收益的三倍以上。这表明强化学习在优化SAM2的记忆控制方面具有巨大的潜力，并为未来的研究提供了新的方向。

🎯 应用场景

SAM2RL具有广泛的应用前景，可应用于智能监控、自动驾驶、机器人导航等领域。通过优化视频目标跟踪性能，可以提高这些应用在复杂环境下的可靠性和准确性。未来，该方法还可以扩展到其他视觉任务中，例如视频目标分割、视频摘要等。

📄 摘要（原文）

Segment Anything Model 2 (SAM 2) has demonstrated strong performance in object segmentation tasks and has become the state-of-the-art for visual object tracking. The model stores information from previous frames in a memory bank, enabling temporal consistency across video sequences. Recent methods augment SAM 2 with hand-crafted update rules to better handle distractors, occlusions, and object motion. We propose a fundamentally different approach using reinforcement learning for optimizing memory updates in SAM 2 by framing memory control as a sequential decision-making problem. In an overfitting setup with a separate agent per video, our method achieves a relative improvement over SAM 2 that exceeds by more than three times the gains of existing heuristics. These results reveal the untapped potential of the memory bank and highlight reinforcement learning as a powerful alternative to hand-crafted update rules for memory control in visual object tracking.