CoDy: Codec Dynamics as Complementary Priors for Unsupervised Temporal Action Localization

📄 arXiv: 2610.19880v1 📥 PDF

作者: Tianyu Yan, Qingyi Yang, Qin Yang, Xufei Guo, Yuan Tang, Rui Wang, Yixue Hao, Long Hu

分类: cs.CV

发布日期: 2026-10-14

💡 一句话要点

提出CoDy框架以解决无监督时序动作定位问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 无监督学习 时序动作定位 视频编解码 动态特征 多模态融合 置信度聚类 边界学习

📋 核心要点

  1. 现有无监督时序动作定位方法主要依赖RGB和光流，导致类别分配和时间边界的准确性不足。
  2. 本文提出CoDy框架，利用视频编解码器的动态信息作为补充，提升动作分类和边界定位的准确性。
  3. 实验结果显示，CoDy在多个数据集上均超越现有方法，证明了编解码器信号在无监督学习中的有效性。

📝 摘要（中文）

无监督时序动作定位（UTAL）旨在在没有注释监督的情况下识别动作类别并定位其时间边界。现有方法通常仅依赖RGB和光流表示来推导监督，导致类别分配噪声和时间边界不准确。本文揭示了视频编解码器的一个被忽视的特性：图像组量化模式保留了类别区分动态，而运动矢量和残差变化在动作过渡时表现出明显响应。基于这一见解，我们提出了CoDy框架，利用编解码器作为UTAL的补充信息。CoDy通过置信度感知共识聚类将编解码器增强视图与RGB和光流结合，生成可靠的软伪标签，并将编解码器动态转换为类别无关的边界先验，指导视觉边界学习和提案初始化及迭代优化。大量实验表明，CoDy在THUMOS14和ActivityNet v1.3上均优于现有UTAL方法，取得了最先进的定位性能。

🔬 方法详解

问题定义：本文解决无监督时序动作定位（UTAL）的问题，现有方法在依赖RGB和光流时，常常导致类别分配不准确和时间边界模糊。

核心思路：我们提出CoDy框架，利用视频编解码器的动态特性作为补充信息，增强视觉信息的可靠性，从而提高动作分类和边界定位的效果。

技术框架：CoDy框架包括三个主要模块：编解码器增强视图生成、置信度感知共识聚类和边界先验指导。首先，通过编解码器提取动态信息，然后与RGB和光流结合，生成软伪标签，最后利用边界先验进行视觉边界学习。

关键创新：本研究的创新点在于首次将视频编解码器的动态信息引入UTAL任务，利用其量化模式和运动矢量特征来指导动作分类和边界定位，与传统方法相比，提供了更为丰富的上下文信息。

关键设计：在设计中，我们采用置信度感知共识聚类来生成软伪标签，并将编解码器动态转化为类别无关的边界先验，确保在训练阶段引入编解码器分支，而在推理阶段不增加额外计算。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在THUMOS14和ActivityNet v1.3数据集上的实验结果表明，CoDy框架在无监督时序动作定位任务中表现优异，超越了现有方法，取得了最先进的定位性能，具体提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括视频监控、体育分析和人机交互等场景。通过无监督的方式进行时序动作定位，可以降低对人工标注的依赖，提升系统的自动化水平和适应性，未来可能在智能监控和自动化分析中发挥重要作用。

📄 摘要（原文）

Unsupervised temporal action localization (UTAL) aims to identify action categories and localize their temporal boundaries without annotation supervision. Existing methods typically derive supervision for both tasks solely from RGB and optical-flow representations, often resulting in noisy category assignments and inaccurate temporal boundaries. In this work, we reveal an overlooked property of video codecs: group-of-pictures quantization patterns preserve category-discriminative dynamics, while motion-vector and residual variations exhibit pronounced responses around action transitions. Based on this insight, we propose CoDy, a codec dynamics-guided framework that exploits the codec as complementary information to the visual view for UTAL. CoDy integrates a codec-enhanced view with RGB and flow through confidence-aware consensus clustering, producing reliable soft pseudo-labels. It further converts codec dynamics into a class-agnostic boundary prior, which supervises visual boundary learning and guides proposal initialization and iterative refinement. The codec branches are only used during the training stage and introduce no extra codec-side computation at inference. Extensive experiments on THUMOS14 and ActivityNet v1.3 demonstrate that CoDy consistently outperforms existing UTAL methods and achieves state-of-the-art localization performance. These results establish codec signals as effective annotation-free priors for jointly inferring which actions occur and when they occur.