Multi-task Learning with Extended Temporal Shift Module for Temporal Action Localization

📄 arXiv: 2512.11189v1 📥 PDF

作者: Anh-Kiet Duong, Petra Gomez-Krämer

分类: cs.CV

发布日期: 2025-12-12

备注: BinEgo360@ICCV25

💡 一句话要点

提出扩展时序位移模块的多任务学习方法，用于时序动作定位

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 时序动作定位 多任务学习 时序位移模块 多视角视频 多模态融合 视频理解 行为识别

📋 核心要点

  1. 现有方法难以有效利用多视角、多模态视频中的上下文信息进行精确时序动作定位。
  2. 通过扩展时序位移模块，并结合多任务学习框架，同时优化场景分类和动作定位。
  3. 在BinEgo-360挑战赛中取得第一名，验证了该方法在多视角、多模态视频动作定位上的有效性。

📝 摘要（中文）

本文提出了针对ICCV 2025 BinEgo-360挑战赛的时序动作定位（TAL）解决方案，该挑战赛关注多视角和多模态视频环境下的动作定位。挑战赛提供包含全景、第三人称和以自我为中心的录像数据集，并标注了细粒度的动作类别。我们的方法基于时序位移模块（TSM），通过引入背景类并对固定长度的非重叠间隔进行分类，将其扩展到处理TAL。我们采用多任务学习框架，联合优化场景分类和TAL，从而利用动作和环境之间的上下文线索。最后，我们通过加权集成策略整合多个模型，提高了预测的鲁棒性和一致性。我们的方法在比赛的初始和扩展轮次中均排名第一，证明了多任务学习、高效骨干网络和集成学习相结合在TAL中的有效性。

🔬 方法详解

问题定义：论文旨在解决多视角、多模态视频中的时序动作定位（TAL）问题。现有方法通常难以有效利用不同视角和模态之间的上下文信息，导致动作定位精度不高，尤其是在细粒度动作识别方面表现不足。此外，如何有效地将场景信息融入到动作定位任务中也是一个挑战。

核心思路：论文的核心思路是利用多任务学习框架，同时学习场景分类和时序动作定位。通过共享底层特征表示，场景分类任务可以为动作定位任务提供上下文信息，从而提高动作定位的准确性和鲁棒性。此外，论文还扩展了时序位移模块（TSM），使其能够处理TAL任务，并引入背景类来区分非动作片段。

技术框架：整体框架包含以下几个主要模块：1) 特征提取模块：使用卷积神经网络（CNN）提取视频帧的视觉特征。2) 时序建模模块：使用扩展的时序位移模块（TSM）对视频序列进行时序建模，捕捉动作的时序动态。3) 多任务学习模块：同时进行场景分类和时序动作定位，共享底层特征表示。4) 集成模块：通过加权集成多个模型的预测结果，提高预测的鲁棒性和一致性。

关键创新：论文的关键创新点在于：1) 扩展了时序位移模块（TSM），使其能够处理时序动作定位任务，并引入背景类。2) 提出了多任务学习框架，联合优化场景分类和时序动作定位，从而利用场景上下文信息提高动作定位精度。3) 采用了加权集成策略，提高了模型的鲁棒性和泛化能力。

关键设计：在多任务学习框架中，使用了交叉熵损失函数来优化场景分类和时序动作定位任务。具体来说，总损失函数是场景分类损失和动作定位损失的加权和。权重的选择需要根据具体数据集进行调整，以平衡两个任务的学习进度。在扩展的TSM中，通过调整位移操作的参数，可以控制模型对时序信息的敏感程度。此外，在集成模块中，使用了加权平均策略，权重的选择可以基于模型在验证集上的性能进行优化。

📊 实验亮点

该方法在BinEgo-360挑战赛中取得了第一名，证明了其在多视角、多模态视频时序动作定位方面的有效性。通过多任务学习和集成策略，该方法能够有效地利用场景上下文信息，提高动作定位的准确性和鲁棒性。具体性能数据未知，但比赛排名证明了其优越性。

🎯 应用场景

该研究成果可应用于智能监控、人机交互、机器人导航等领域。例如，在智能监控中，可以利用该方法自动检测异常行为；在人机交互中，可以识别用户的动作意图，从而提供更自然、更智能的交互体验；在机器人导航中，可以帮助机器人理解周围环境，从而更好地完成任务。

📄 摘要（原文）

We present our solution to the BinEgo-360 Challenge at ICCV 2025, which focuses on temporal action localization (TAL) in multi-perspective and multi-modal video settings. The challenge provides a dataset containing panoramic, third-person, and egocentric recordings, annotated with fine-grained action classes. Our approach is built on the Temporal Shift Module (TSM), which we extend to handle TAL by introducing a background class and classifying fixed-length non-overlapping intervals. We employ a multi-task learning framework that jointly optimizes for scene classification and TAL, leveraging contextual cues between actions and environments. Finally, we integrate multiple models through a weighted ensemble strategy, which improves robustness and consistency of predictions. Our method is ranked first in both the initial and extended rounds of the competition, demonstrating the effectiveness of combining multi-task learning, an efficient backbone, and ensemble learning for TAL.