MATT-Diff: Multimodal Active Target Tracking by Diffusion Policy

📄 arXiv: 2511.11931v1 📥 PDF

作者: Saida Liu, Nikolay Atanasov, Shumon Koga

分类: cs.RO

发布日期: 2025-11-14

备注: 14 pages, 3 figures. Submitted to L4DC 2026

💡 一句话要点

提出MATT-Diff，通过扩散策略实现多模态主动多目标跟踪。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多目标跟踪 主动跟踪 扩散模型 视觉Transformer 多模态学习

📋 核心要点

  1. 现有主动目标跟踪方法难以在探索未知目标和精确跟踪已知目标之间有效平衡，尤其是在目标数量和状态未知的情况下。
  2. MATT-Diff利用扩散模型学习多模态行为策略，通过视觉Transformer和注意力机制融合目标信息，实现探索、跟踪和重捕获等多种行为的无缝切换。
  3. 实验结果表明，MATT-Diff在多目标跟踪任务中显著优于专家策略和行为克隆方法，验证了其在复杂环境下的有效性。

📝 摘要（中文）

本文提出MATT-Diff：一种基于扩散策略的多模态主动目标跟踪方法，该控制策略能够捕捉多种行为模式，包括探索、专注跟踪和目标重捕获，用于主动多目标跟踪。该策略无需预先了解目标数量、状态或动态即可实现智能体控制。有效的目标跟踪需要在未检测到或丢失的目标的探索与跟踪已检测到但具有不确定性的目标的运动之间取得平衡。我们从三个专家规划器生成演示数据集，包括基于前沿的探索、基于不确定性的混合规划器（基于目标不确定性在前沿探索和RRT*跟踪之间切换）以及基于时间的混合规划器（基于目标检测时间在探索和跟踪之间切换）。我们设计了一种控制策略，利用视觉Transformer进行自中心地图标记化，并利用注意力机制来整合由高斯密度表示的可变目标估计。该策略被训练为扩散模型，学习通过去噪过程生成多模态动作序列。评估表明，MATT-Diff在多种目标运动中优于专家和行为克隆基线，从而在经验上验证了其在目标跟踪方面的优势。

🔬 方法详解

问题定义：论文旨在解决主动多目标跟踪问题，即在未知目标数量、状态和动态的情况下，控制智能体有效地探索环境并跟踪多个目标。现有方法通常难以在探索未知区域以寻找新目标和精确跟踪已知目标之间取得平衡，尤其是在目标运动具有不确定性的情况下。

核心思路：论文的核心思路是利用扩散模型学习一个能够生成多模态动作序列的控制策略。通过将目标跟踪问题建模为一个条件生成问题，扩散模型能够学习到多种行为模式，包括探索、专注跟踪和目标重捕获。这种方法允许智能体根据当前环境和目标状态灵活地选择合适的动作，从而实现更鲁棒和高效的目标跟踪。

技术框架：MATT-Diff的整体框架包括以下几个主要模块：1) 感知模块：使用视觉Transformer对自中心地图进行标记化，提取环境特征。2) 目标估计模块：使用高斯密度表示目标的位置和不确定性。3) 注意力融合模块：使用注意力机制将环境特征和目标估计融合，得到全局状态表示。4) 扩散策略模块：使用扩散模型学习一个从全局状态到动作序列的映射。在训练阶段，使用专家策略生成演示数据，并使用扩散模型学习从噪声到动作序列的去噪过程。在推理阶段，从高斯噪声开始，通过迭代去噪过程生成动作序列。

关键创新：MATT-Diff的关键创新在于使用扩散模型学习多模态控制策略。与传统的行为克隆方法相比，扩散模型能够更好地捕捉动作序列中的不确定性和多样性，从而实现更鲁棒和灵活的控制。此外，论文还提出了一个基于视觉Transformer和注意力机制的目标信息融合方法，能够有效地处理多个目标的估计信息。

关键设计：在网络结构方面，视觉Transformer用于提取自中心地图的特征，注意力机制用于融合环境特征和目标估计。扩散模型使用U-Net结构，通过迭代去噪过程生成动作序列。损失函数包括扩散模型的去噪损失和行为克隆损失。在训练过程中，使用专家策略生成演示数据，并使用数据增强技术提高模型的泛化能力。具体参数设置未知。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，MATT-Diff在多个目标运动场景下显著优于专家策略和行为克隆基线。具体而言，MATT-Diff在跟踪精度和跟踪成功率方面均取得了显著提升，验证了其在多目标跟踪方面的优势。具体提升幅度未知。

🎯 应用场景

MATT-Diff具有广泛的应用前景，例如在自动驾驶、机器人导航、安防监控等领域。它可以用于控制无人车在复杂环境中寻找和跟踪行人、车辆等目标，或者控制机器人进行自主巡逻和目标检测。该研究的成果有助于提高智能体在复杂环境下的自主性和鲁棒性。

📄 摘要（原文）

This paper proposes MATT-Diff: Multi-Modal Active Target Tracking by Diffusion Policy, a control policy that captures multiple behavioral modes - exploration, dedicated tracking, and target reacquisition - for active multi-target tracking. The policy enables agent control without prior knowledge of target numbers, states, or dynamics. Effective target tracking demands balancing exploration for undetected or lost targets with following the motion of detected but uncertain ones. We generate a demonstration dataset from three expert planners including frontier-based exploration, an uncertainty-based hybrid planner switching between frontier-based exploration and RRT* tracking based on target uncertainty, and a time-based hybrid planner switching between exploration and tracking based on target detection time. We design a control policy utilizing a vision transformer for egocentric map tokenization and an attention mechanism to integrate variable target estimates represented by Gaussian densities. Trained as a diffusion model, the policy learns to generate multi-modal action sequences through a denoising process. Evaluations demonstrate MATT-Diff's superior tracking performance against expert and behavior cloning baselines across multiple target motions, empirically validating its advantages in target tracking.