Reliability-Consistent Appearance Modeling for RGB-Infrared Multi-Object Tracking
作者: Bingyang Wang, Jiazuo Yu, Lu Zhang, Lihe Zhang, Huchuan Lu, You He
分类: cs.CV
发布日期: 2026-10-16
备注: 10 pages, 6 figures. Submitted to IEEE Transactions on Multimedia
💡 一句话要点
提出RCA-MOT框架以解决RGB-红外多目标跟踪中的不可靠性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多目标跟踪 RGB-红外融合 可靠性控制 跨模态学习 外观记忆
📋 核心要点
- 现有RGB-红外多目标跟踪方法在模态退化时无法有效调节不同模态的贡献，导致不可靠证据影响跟踪性能。
- 本文提出RCA-MOT框架，通过维护RGB和红外的特定表示，增强跨模态互补性，并引入可靠性控制机制来改善外观记忆的更新。
- RCA-MOT在VT-MOT和UniRTL数据集上取得了显著提升，HOTA提高了5.402/6.075分，IDF1提高了11.549/12.789分，验证了可靠性作为控制信号的重要性。
📝 摘要（中文）
近年来，RGB-红外多目标跟踪方法在跨模态表示学习和多模态信息整合方面取得了显著进展。然而，大多数现有方法将RGB和红外证据压缩为统一描述符，当某一模态暂时退化时，跟踪器无法单独调节其贡献，导致不可靠证据可能扭曲关联并污染外观记忆。因此，本文提出了RCA-MOT框架，旨在保持跨模态的互补性，同时保留后表示证据的可控性。该框架维护RGB特定、红外特定和融合的身份表示作为可共同访问的外观状态。通过简单的训练无关目标场景估计器，生成分支外观可靠性，用于调节不同身份分支的相对可靠性和校准接近ReID接受边界的边界候选者。RCA-MOT在VT-MOT和UniRTL上设定了新的SOTA结果，分别提高了HOTA和IDF1的最佳值。
🔬 方法详解
问题定义：本文旨在解决RGB-红外多目标跟踪中，由于模态退化导致的不可靠证据影响跟踪性能的问题。现有方法通常将不同模态的信息压缩为统一描述符，无法有效调节各模态的贡献。
核心思路：RCA-MOT框架的核心思路是保持RGB和红外的特定表示，同时引入可靠性控制机制，以增强外观记忆的可控性和准确性。通过分支外观可靠性，调节不同身份分支的相对可靠性和校准边界候选者。
技术框架：RCA-MOT框架包含多个模块，包括RGB特定、红外特定和融合身份表示的维护，以及一个训练无关的目标场景估计器，用于生成分支外观可靠性。整体流程通过这些模块实现跨模态的互补性和外观记忆的有效更新。
关键创新：RCA-MOT的主要创新在于引入了可靠性控制机制，使得跟踪器能够在模态退化时仍然保持较高的跟踪性能。这一设计与现有方法的本质区别在于不再依赖于复杂的融合或学习的可靠性估计模块。
关键设计：在设计上，RCA-MOT采用了简单的训练无关估计器，专注于可靠性可控的外观组织，而不是复杂的融合策略。此外，分支外观可靠性用于调节历史外观记忆的更新强度，确保跟踪的稳定性和准确性。
🖼️ 关键图片
📊 实验亮点
RCA-MOT在VT-MOT和UniRTL数据集上设定了新的SOTA结果，HOTA分别提高了5.402和6.075分，IDF1分别提高了11.549和12.789分，显示出显著的性能提升，验证了可靠性作为控制信号的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能监控、无人驾驶、安防系统等，能够在多模态环境中提高目标跟踪的准确性和鲁棒性。未来，RCA-MOT框架有望在实时跟踪系统中得到广泛应用，提升多目标跟踪的实用价值。
📄 摘要（原文）
Recent RGB-infrared multi-object tracking (MOT) methods have substantially improved cross-modal representation learning and multimodal information integration. However, most existing methods compress RGB and infrared evidence into a unified descriptor. When one modality is temporarily degraded, the tracker can no longer regulate its contribution separately; unreliable evidence may distort association and contaminate appearance memory. We therefore propose RCA-MOT, a reliability-consistent appearance modeling framework that preserves cross-modal complementarity while retaining post-representation evidence controllability. RGB-specific, infrared-specific, and fused identity representations are maintained as jointly accessible appearance states. For each detection, a simple training-free target-scene estimator produces branch-wise appearance reliability used across the two temporal roles of appearance: relative reliability regulates different identity branches, absolute reliability calibrates borderline candidates near the ReID acceptance boundary, and the same branch-wise reliability controls how strongly matched descriptors update historical appearance memory. The individual components are intentionally simple, focusing evaluation on reliability-controllable appearance organization rather than elaborate fusion or learned reliability-estimation modules. RCA-MOT sets new SOTA results on VT-MOT and UniRTL, improving the previous best HOTA by 5.402/6.075 points and IDF1 by 11.549/12.789 points, respectively, while post-hoc analyses further validate reliability as an informative control signal. Code will be released upon acceptance.