Associate Everything Detected: Facilitating Tracking-by-Detection to the Unknown
作者: Zimeng Fang, Chao Liang, Xue Zhou, Shuyuan Zhu, Xi Li
分类: cs.CV
发布日期: 2024-09-14 (更新: 2025-08-02)
备注: Accepted by IEEE Transactions on Image Processing (TIP)
🔗 代码/项目: GITHUB
💡 一句话要点
提出AED框架，通过关联一切检测结果，统一解决已知与未知类别多目标跟踪问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 多目标跟踪 开放词汇 目标检测 特征学习 相似性度量
📋 核心要点
- 现有CV-MOT和OV-MOT方法在处理对方任务时表现不佳，缺乏一个统一的框架。
- AED框架通过sim-decoder学习鲁棒的特征表示，摆脱了对运动线索等先验知识的依赖。
- AED在TAO、SportsMOT和DanceTrack数据集上取得了优于现有方法的性能，无需任何先验知识。
📝 摘要（中文）
多目标跟踪（MOT）是计算机视觉领域一个关键且极具前景的分支。经典封闭词汇MOT（CV-MOT）方法旨在跟踪预定义类别的对象。最近，一些开放词汇MOT（OV-MOT）方法成功地解决了跟踪未知类别的问题。然而，我们发现CV-MOT和OV-MOT方法各自难以在对方的任务中表现出色。在本文中，我们提出了一个统一的框架，Associate Everything Detected（AED），它通过与任何现成的检测器集成并支持未知类别，同时解决了CV-MOT和OV-MOT。与现有的基于检测的MOT方法不同，AED摆脱了先验知识（例如运动线索），仅依靠高度鲁棒的特征学习来处理OV-MOT任务中的复杂轨迹，同时保持CV-MOT任务中的出色性能。具体来说，我们将关联任务建模为一个相似性解码问题，并提出了一个具有以关联为中心的学习机制的sim-decoder。sim-decoder计算三个方面的相似性：空间、时间和跨片段。随后，以关联为中心的学习利用这三重相似性来确保提取的特征适用于连续跟踪，并且足够鲁棒以推广到未知类别。与现有的强大OV-MOT和CV-MOT方法相比，AED在TAO、SportsMOT和DanceTrack上实现了卓越的性能，而无需任何先验知识。我们的代码可在https://github.com/balabooooo/AED获得。
🔬 方法详解
问题定义：论文旨在解决多目标跟踪（MOT）领域中，封闭词汇（CV-MOT）和开放词汇（OV-MOT）方法各自难以兼顾的问题。CV-MOT方法依赖于预定义的类别信息，无法有效跟踪未知类别的物体；而OV-MOT方法虽然可以跟踪未知类别，但在已知类别上的性能往往不如CV-MOT方法。现有的tracking-by-detection方法通常依赖于运动线索等先验知识，限制了其在复杂场景和未知类别上的泛化能力。
核心思路：论文的核心思路是将MOT问题建模为一个相似性解码问题，通过学习鲁棒的特征表示来实现对已知和未知类别物体的统一跟踪。该方法摆脱了对运动线索等先验知识的依赖，而是专注于学习能够有效区分不同物体的特征。通过计算空间、时间和跨片段的相似性，sim-decoder能够提取出适用于连续跟踪且具有良好泛化能力的特征。
技术框架：AED框架主要包含以下几个阶段：1) 使用现成的目标检测器检测图像中的物体；2) 使用sim-decoder提取每个检测到的物体的特征表示；3) 计算不同物体在空间、时间和跨片段上的相似性；4) 使用以关联为中心的学习机制，根据计算出的相似性来更新特征表示；5) 使用匈牙利算法等关联算法，将不同帧中的物体进行关联，形成轨迹。
关键创新：论文最重要的技术创新点在于提出了sim-decoder和以关联为中心的学习机制。sim-decoder能够有效地提取物体的特征表示，并计算它们之间的相似性。以关联为中心的学习机制能够根据计算出的相似性来更新特征表示，从而使特征更适用于连续跟踪，并具有更好的泛化能力。与现有方法相比，AED摆脱了对运动线索等先验知识的依赖，更加专注于学习鲁棒的特征表示。
关键设计：sim-decoder的具体结构未知，但其核心在于计算空间、时间和跨片段的相似性。空间相似性可能通过比较物体的位置、大小等信息来计算；时间相似性可能通过比较物体在相邻帧中的特征表示来计算；跨片段相似性可能通过比较物体在不同时间段内的特征表示来计算。以关联为中心的学习机制的具体实现方式未知，但其目标是使相似的物体具有相似的特征表示，而不相似的物体具有不同的特征表示。
🖼️ 关键图片
📊 实验亮点
AED在TAO、SportsMOT和DanceTrack数据集上取得了显著的性能提升。例如，在TAO数据集上，AED的性能优于现有的OV-MOT方法，并且在SportsMOT和DanceTrack数据集上，AED的性能优于现有的CV-MOT方法。这些结果表明，AED框架能够有效地解决已知和未知类别多目标跟踪问题，并且具有良好的泛化能力。
🎯 应用场景
AED框架具有广泛的应用前景，可应用于智能监控、自动驾驶、机器人导航等领域。该框架能够有效地跟踪已知和未知类别的物体，为这些应用提供更准确、更鲁棒的感知能力。此外，AED框架还可以用于分析人群行为、理解视频内容等任务，具有重要的研究价值。
📄 摘要（原文）
Multi-object tracking (MOT) emerges as a pivotal and highly promising branch in the field of computer vision. Classical closed-vocabulary MOT (CV-MOT) methods aim to track objects of predefined categories. Recently, some open-vocabulary MOT (OV-MOT) methods have successfully addressed the problem of tracking unknown categories. However, we found that the CV-MOT and OV-MOT methods each struggle to excel in the tasks of the other. In this paper, we present a unified framework, Associate Everything Detected (AED), that simultaneously tackles CV-MOT and OV-MOT by integrating with any off-the-shelf detector and supports unknown categories. Different from existing tracking-by-detection MOT methods, AED gets rid of prior knowledge (e.g. motion cues) and relies solely on highly robust feature learning to handle complex trajectories in OV-MOT tasks while keeping excellent performance in CV-MOT tasks. Specifically, we model the association task as a similarity decoding problem and propose a sim-decoder with an association-centric learning mechanism. The sim-decoder calculates similarities in three aspects: spatial, temporal, and cross-clip. Subsequently, association-centric learning leverages these threefold similarities to ensure that the extracted features are appropriate for continuous tracking and robust enough to generalize to unknown categories. Compared with existing powerful OV-MOT and CV-MOT methods, AED achieves superior performance on TAO, SportsMOT, and DanceTrack without any prior knowledge. Our code is available at https://github.com/balabooooo/AED.