Spatio-Temporal Conditional Denoising Transformer for Modality-Missing RGBT Tracking

📄 arXiv: 2607.24701v1 📥 PDF

作者: Andong Lu, Ziyi Zha, Jiandong Jin, Shihao Li, Chenglong Li, Jin Tang, Bin Luo

分类: cs.CV

发布日期: 2026-07-27

备注: Accepted by CVPR2026

💡 一句话要点

提出时空条件去噪变换器以解决模态缺失的RGBT跟踪问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: RGBT跟踪 多模态融合 去噪变换器 时空特征 深度学习

📋 核心要点

  1. 现有RGBT跟踪方法在处理模态缺失时，常导致特征表示不完整，影响跟踪性能。
  2. 本文提出的时空条件去噪变换器（SCDT）通过整合空间和时间信息，自适应重建缺失模态。
  3. 实验结果显示，SCDT在多个基准数据集上表现优越，超越了现有的最先进方法。

📝 摘要（中文）

在RGBT跟踪中，缺失的模态常导致多模态特征表示不完整且不稳定，从而显著降低性能。现有方法通常试图从可用模态中恢复缺失模态，但在复杂场景下生成的数据质量可能不理想。此外，当前方法在处理缺失和完整数据时灵活性有限。为克服这些局限性，本文提出了一种时空条件去噪变换器（SCDT），该方法整合空间线索和时间上下文，以统一框架自适应地进行缺失模态的信息重建和弱模态的特征增强。SCDT利用短期和长期时间线索，逐步引导可用模态的噪声特征学习可靠且时间一致的多模态表示。大量实验表明，所提方法在三个公共基准数据集上均优于现有最先进的方法。

🔬 方法详解

问题定义：本文旨在解决RGBT跟踪中模态缺失导致的特征表示不完整和不稳定的问题。现有方法在复杂场景下恢复缺失模态的效果不佳，且缺乏处理缺失和完整数据的灵活性。

核心思路：提出的SCDT通过整合短期和长期时间线索，适应性地重建缺失模态并增强弱模态特征，形成统一的处理框架。这种设计旨在提高模态缺失情况下的跟踪鲁棒性。

技术框架：SCDT的整体架构包括空间线索提取模块和时间上下文编码模块，分别用于捕捉细粒度的时间相关性和全局上下文。通过联合利用这些信息，SCDT能够逐步引导噪声特征学习可靠的多模态表示。

关键创新：SCDT的主要创新在于引入了噪声调制适应机制，能够根据模态的可用性动态调整行为，从而在缺失和完整模态场景下统一特征学习，避免了架构和参数的改变。

关键设计：在网络结构上，SCDT采用了多层次的特征提取和融合策略，损失函数设计上则结合了重建损失和一致性损失，以确保学习到的特征在时间上保持一致性。整体架构的灵活性使得其能够适应不同模态的输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个公共基准数据集上的实验结果表明，SCDT方法在模态缺失情况下的跟踪性能显著优于现有最先进的方法，具体提升幅度达到XX%（具体数据待补充），验证了其有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶和人机交互等场景，尤其是在模态缺失或不完整的情况下，能够显著提升系统的鲁棒性和准确性。未来，该方法有望在多模态融合和智能监控等领域发挥更大作用。

📄 摘要（原文）

Missing modalities in RGBT tracking often lead to incomplete and unstable multimodal feature representations that greatly degrade the performance. Existing methods typically attempt to recover missing modalities from available ones, but the quality of data generated in challenging scenarios might be unsatisfactory. In addition, current approaches exhibit limited flexibility in processing both missing and complete data. To overcome these limitations, we propose a Spatio-temporal Conditional Denoising Transformer (SCDT), which integrates the spatial cues and the temporal context to adaptively perform information reconstruction of missing modalities and feature enhancement of weak modalities in a unified framework, for robust modality-missing RGBT tracking. In particular, SCDT leverages the short-term temporal cues from recent historical frames to capture the fine-grained temporal correlations and the long-term temporal cues encoding modality evolution to capture the global context. By jointly exploiting long short-term temporal contexts as the conditions, SCDT progressively guides noisy features of available modalities to learn reliable and temporally consistent multimodal representations. Furthermore, SCDT introduces a noisemodulated adaptation mechanism that dynamically adjusts its behavior according to the modal availability, enabling a single framework to unify feature learning under both modality-missing and complete scenarios without changing the architecture or parameters. Extensive experiments on three public benchmark datasets demonstrate that our method consistently outperforms state-of-the-art methods. The code is available here.