TrackSSM: A General Motion Predictor by State-Space Model
作者: Bin Hu, Run Luo, Zelin Liu, Cheng Wang, Wenyu Liu
分类: cs.CV
发布日期: 2024-08-31 (更新: 2024-09-10)
🔗 代码/项目: GITHUB
💡 一句话要点
提出TrackSSM以解决多目标跟踪中的运动预测问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多目标跟踪 运动预测 状态空间模型 编码器-解码器 流解码器 逐步线性训练 轨迹建模
📋 核心要点
- 现有的运动模型在不同应用场景中效率与效果难以兼顾，导致多目标跟踪的精度不足。
- TrackSSM通过引入Flow-SSM模块和流解码器，利用历史轨迹信息来指导物体的时间状态转移。
- 在多个基准测试中，TrackSSM展现出卓越的跟踪性能，进一步拓展了SSM类时间运动模型在多目标跟踪任务中的潜力。
📝 摘要（中文）
时间运动建模在多目标跟踪（MOT）中一直是关键组成部分，能够确保轨迹平滑移动并提供准确的位置信息以增强关联精度。然而，现有运动模型在不同应用场景中效率与效果难以兼顾。为此，本文提出TrackSSM，灵感来源于最近流行的状态空间模型（SSM），构建了一个统一的编码器-解码器运动框架，利用数据依赖的状态空间模型进行轨迹的时间运动。特别地，提出了Flow-SSM模块，利用历史轨迹中的位置和运动信息引导物体边界框的时间状态转移。基于Flow-SSM，设计了流解码器，通过级联运动解码模块完成轨迹的时间位置预测。TrackSSM适用于多种跟踪场景，并在多个基准测试中取得了优异的跟踪性能。
🔬 方法详解
问题定义：本文旨在解决多目标跟踪中运动预测的效率与效果问题。现有方法在不同场景下难以保持高效的运动建模，导致跟踪精度不足。
核心思路：TrackSSM的核心思路是利用状态空间模型（SSM）构建一个统一的编码器-解码器框架，通过Flow-SSM模块引导物体边界框的时间状态转移，从而实现更准确的轨迹预测。
技术框架：TrackSSM的整体架构包括一个简单的Mamba-Block构建的运动编码器和一个流解码器。运动编码器负责处理历史轨迹信息，而流解码器则通过级联运动解码模块完成时间位置预测。
关键创新：TrackSSM的主要创新在于Flow-SSM模块的引入，使得模型能够有效利用历史轨迹信息进行状态转移，显著提升了运动预测的准确性和效率。
关键设计：在训练过程中，采用了逐步线性（S$^2$L）训练策略，通过线性插值构建伪标签，确保轨迹流信息能够更好地指导物体边界框的时间转移。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，TrackSSM展现出优异的性能，相较于现有方法，跟踪精度提升了XX%，有效增强了多目标跟踪的稳定性和准确性。
🎯 应用场景
TrackSSM可广泛应用于自动驾驶、视频监控和人机交互等领域，能够有效提高多目标跟踪的精度和效率。其创新的运动预测方法为未来的智能系统提供了更强的支持，推动了相关技术的发展。
📄 摘要（原文）
Temporal motion modeling has always been a key component in multiple object tracking (MOT) which can ensure smooth trajectory movement and provide accurate positional information to enhance association precision. However, current motion models struggle to be both efficient and effective across different application scenarios. To this end, we propose TrackSSM inspired by the recently popular state space models (SSM), a unified encoder-decoder motion framework that uses data-dependent state space model to perform temporal motion of trajectories. Specifically, we propose Flow-SSM, a module that utilizes the position and motion information from historical trajectories to guide the temporal state transition of object bounding boxes. Based on Flow-SSM, we design a flow decoder. It is composed of a cascaded motion decoding module employing Flow-SSM, which can use the encoded flow information to complete the temporal position prediction of trajectories. Additionally, we propose a Step-by-Step Linear (S$^2$L) training strategy. By performing linear interpolation between the positions of the object in the previous frame and the current frame, we construct the pseudo labels of step-by-step linear training, ensuring that the trajectory flow information can better guide the object bounding box in completing temporal transitions. TrackSSM utilizes a simple Mamba-Block to build a motion encoder for historical trajectories, forming a temporal motion model with an encoder-decoder structure in conjunction with the flow decoder. TrackSSM is applicable to various tracking scenarios and achieves excellent tracking performance across multiple benchmarks, further extending the potential of SSM-like temporal motion models in multi-object tracking tasks. Code and models are publicly available at \url{https://github.com/Xavier-Lin/TrackSSM}.