HyperDAM: Hyperspectral Distractor-Aware Memory with Amodal Expansion for SAM 3 Tracking
作者: Ryoga Yuzawa, Tasuku Takagi
分类: cs.CV
发布日期: 2026-09-28
💡 一句话要点
提出HyperDAM以解决光谱视频目标跟踪中的干扰问题
🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 光谱视频 目标跟踪 模态掩码 光谱一致性 时空扩展 深度学习 多模态融合
📋 核心要点
- 现有的光谱视频跟踪方法在处理外观相似目标时，容易受到干扰，导致跟踪精度下降。
- HyperDAM通过引入模态掩码、光谱一致性校准和因果时空扩展等技术，增强了对干扰的抵抗能力。
- 在HOTC 2026的评估中，HyperDAM取得了68.0093%的AUC和87.7703%的DP@20，显示出显著的性能提升。
📝 摘要（中文）
光谱视频提供了材料线索，可以区分外观相似的目标，但现有的基础模型跟踪器主要依赖空间和外观证据更新记忆。本文提出了HyperDAM，一种基于DAM4SAM3的光谱跟踪器，具有三项主要贡献：首先，HOTC2026-Modal为481个HOTC 2026视频添加了经过人工验证的逐帧模态掩码和紧密框；其次，帧零校准的HSI门拒绝光谱不一致的更新，以保护干扰解决记忆（DRM）而不改变当前预测；最后，因果时空扩展器从冻结的SAM特征中添加向外的模态修正。该系统在HOTC 2026中排名第二，AUC达到68.0093%，DP@20为87.7703%。
🔬 方法详解
问题定义：本文旨在解决光谱视频目标跟踪中，由于目标外观相似而导致的干扰问题。现有方法主要依赖空间和外观证据，难以有效区分相似目标。
核心思路：HyperDAM的核心思路是通过引入模态掩码和光谱一致性校准，增强记忆更新的准确性，从而提高跟踪的鲁棒性。
技术框架：HyperDAM的整体架构包括三个主要模块：模态掩码生成、光谱一致性校准和因果时空扩展。模态掩码用于识别有效信息，光谱一致性校准确保记忆更新的准确性，而因果时空扩展则处理目标切换和全遮挡问题。
关键创新：最重要的创新点在于引入了HOTC2026-Modal模态掩码和帧零校准的HSI门，这些设计使得系统能够有效拒绝不一致的光谱更新，显著提升了干扰解决能力。
关键设计：在参数设置上，系统采用了经过验证的模态掩码和紧密框，损失函数设计上注重光谱一致性，网络结构则基于DAM4SAM3进行优化，确保了高效的特征提取和更新。
🖼️ 关键图片
📊 实验亮点
HyperDAM在HOTC 2026的评估中表现优异，排名第二，AUC达到68.0093%，DP@20为87.7703%。与基线相比，系统在处理干扰和目标切换方面展现了显著的性能提升，验证了其设计的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、监控系统和无人机视觉等场景，能够在复杂环境中实现高效的目标跟踪。未来，HyperDAM的技术可以扩展到其他多模态融合任务，提升智能系统的感知能力和决策水平。
📄 摘要（原文）
Hyperspectral video provides material cues that can disambiguate targets with similar false-color appearance, yet foundation-model trackers update memory primarily from spatial and appearance evidence. We present HyperDAM, a DAM4SAM3-based hyperspectral tracker with three principal contributions. First, HOTC2026-Modal adds human-verified frame-wise modal masks and mask-tight boxes to all 481 organizer-provided HOTC 2026 videos. Second, a frame-zero-calibrated HSI gate rejects spectrally inconsistent updates to the distractor-resolving memory (DRM) without altering the current prediction. Third, a causal spatiotemporal expander adds outward-only amodal corrections from frozen SAM features. Static-scene recovery and empty-mask RTS smoothing address target switches and full occlusion. Model selection prioritizes cross-domain robustness over leaderboard-specific optimization. The final system ranked second in HOTC 2026, achieving 68.0093% AUC and 87.7703% DP@20 in the organizer's private evaluation.