TiTok: Audio-Visual LLM for Multi-Segment Temporal Grounding

📄 arXiv: 2610.09408v1 📥 PDF

作者: Eunji Shin, Dahyun Choi, Seungyeon Jo, Yejin Hong, Jiyoung Lee

分类: cs.CV

发布日期: 2026-10-07

备注: ACCV'2026

💡 一句话要点

提出TiTok以解决音视频多段时间定位问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频理解 多段定位 时间标记交错 去耦合奖励 强化学习

📋 核心要点

  1. 核心问题：现有的视觉模型未能充分利用音频线索，而音视频模型在事件数量校准上存在误差。
  2. 方法要点：TiTok通过引入时间标记交错方法和去耦合的多段奖励机制，提升了时间段定位的准确性。
  3. 实验或效果：TiTok在UnAV-100评估协议上达到了65.7 mIoU和0.58 CountF1，表现优于现有方法。

📝 摘要（中文）

音视频多段定位（AV-MSG）在未剪辑视频中是一个基本但具有挑战性的问题。现有的视觉模型忽视了音频的补充线索，而音视频模型往往无法准确校准事件数量，导致计数误校准。为此，本文提出了TiTok，一个音视频大语言模型（AV-LLM），能够为每个查询定位任意数量的时间事件段。我们引入了时间标记交错（TTI）方法，通过在音视频流中显式注入特殊时间标记，以对齐输入侧的时间感知与输出侧的时间预测。此外，我们提出了去耦合的多段奖励机制，优化了强化学习过程。TiTok在新建立的UnAV-100评估协议上达到了65.7 mIoU和0.58 CountF1，取得了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决音视频多段定位（AV-MSG）问题，现有方法在处理未剪辑视频时，往往忽视音频信息，导致事件数量的计数误校准。

核心思路：TiTok的核心思路是通过时间标记交错（TTI）方法，将时间标记显式注入音视频流中，以提高时间段的定位精度，并通过去耦合的多段奖励机制优化模型的学习过程。

技术框架：TiTok的整体架构包括音视频输入模块、时间标记交错模块、事件定位模块和奖励优化模块。音视频输入模块负责接收原始数据，时间标记交错模块则将时间信息与音视频数据结合，事件定位模块进行时间段预测，最后通过奖励优化模块进行模型训练。

关键创新：最重要的技术创新在于引入了时间标记交错方法和去耦合的多段奖励机制，这与传统方法的单一奖励机制和缺乏时间信息的处理方式形成了鲜明对比。

关键设计：在设计中，采用了特殊的时间标记来增强时间感知，损失函数结合了全局、局部、计数、精度和格式奖励，确保模型在多方面优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TiTok在UnAV-100评估协议中达到了65.7 mIoU和0.58 CountF1，显著优于现有基线，展示了其在音视频多段定位任务中的卓越性能，标志着该领域的技术进步。

🎯 应用场景

TiTok的研究成果在视频分析、智能监控、自动视频摘要和人机交互等领域具有广泛的应用潜力。通过提高音视频内容的理解能力，TiTok能够帮助实现更智能的多媒体检索和分析系统，提升用户体验和系统效率。

📄 摘要（原文）

Audio-visual multi-segment grounding (AV-MSG) in untrimmed videos, reasoning over audio-visual evidence and predicting multiple segments for a query, is a fundamental problem but remains challenging. Visual-only models overlook complementary acoustic cues, while audio-visual models often fail to calibrate the number of events - a phenomenon we refer to as count miscalibration. We present TiTok, an audio-visual large language model (AV-LLM) that localizes an arbitrary number of temporal event segments for each query. For precise boundary prediction, we introduce the Time Token Interleaving (TTI) method, which explicitly injects special time tokens into the audio-visual stream to align input-side temporal perception with output-side temporal prediction. We further propose decoupled, multi-segment-oriented rewards for reinforcement learning, consisting of global, local, count, precision, and format rewards, optimized with Group reward-Decoupled Normalization Policy Optimization (GDPO). To assess the performance on AV-MSG, we establish a new UnAV-100-based evaluation protocol, and propose the CountF1 metric for quantifying count miscalibration that overlap metrics fail to capture. TiTok reaches 65.7 mIoU and 0.58 CountF1, achieving state-of-the-art performance. Our code is available at this link.