OmniGround: Strengthening Omni-Modal Temporal Grounding via Attention-Consistency Training

📄 arXiv: 2610.25929v1 📥 PDF

作者: Zixuan Chen, Depeng Wang, Hao Lin, Ke Xu, Ya Guo, Huijia Zhu, Tanfeng Sun, Xinghao Jiang

分类: cs.CV

发布日期: 2026-10-19

💡 一句话要点

提出TACG方法以解决多模态时间定位问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 时间定位 注意力机制 训练方法 音视频理解 模型评估 深度学习

📋 核心要点

  1. 现有的多模态大语言模型在时间定位能力上存在不足，模型内部的注意力机制与生成的时间戳之间存在时间生成差距。
  2. 本文提出的TACG方法通过将内部注意力视为可靠的时间基准，并与模型预测和真实标注进行对齐，来解决这一问题。
  3. 使用TACG和构建的580K样本训练数据集，OmniGround模型在时间定位任务上取得了显著提升，达到37.5 mIoU和35.7 mIoU的成绩。

📝 摘要（中文）

多模态大语言模型能够共同理解视频、音频和文本，但在时间定位方面仍然较弱，这对于现实世界的音视频应用至关重要。为了解决这一限制，本文提出了一种后训练方法TACG（Temporal Attention-Consistency Grounding），通过将模型内部注意力与预测结果和真实标注对齐，从而缩小时间生成差距。我们还构建了一个包含580K样本的训练数据集，以增强模型的时间定位能力。最终，OmniGround模型在多模态时间定位任务上达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在时间定位方面的不足，现有方法生成的时间戳往往不如模型内部注意力机制所定位的目标时刻准确。

核心思路：论文提出的TACG方法通过关注模型内部的注意力机制，将其作为时间定位的可靠基准，并通过一致性训练将其与模型预测和真实标注对齐，以缩小时间生成差距。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。首先，通过重构密集音视频标注生成时间问答数据集；其次，利用TACG方法对OmniGround模型进行训练；最后，评估模型在时间定位任务上的表现。

关键创新：最重要的技术创新在于提出了TACG方法，通过内部注意力与预测结果的对齐，显著提升了多模态模型的时间定位能力，这一方法在现有技术中尚未被充分探索。

关键设计：在模型训练中，采用了特定的损失函数来优化注意力一致性，并设计了适应多模态数据的网络结构，以确保模型能够有效处理视频、音频和文本信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，OmniGround模型在LongVALE和UnAV-100数据集上分别达到了37.5 mIoU和35.7 mIoU的成绩，展现出在多模态时间定位任务上的最先进性能。同时，该模型在一般音视频理解和单一视觉定位任务上也保持了竞争力，表明其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、智能助手等需要音视频理解和时间定位的场景。通过提升多模态模型的时间定位能力，可以显著增强这些应用的智能化水平和用户体验，未来可能推动相关技术的广泛应用与发展。

📄 摘要（原文）

Omni-modal large language models can jointly understand video, audio, and text, yet they remain weak at temporal grounding, a capability essential for real-world audio-visual applications. To understand this limitation, we look beyond final predictions and examine the model's internal temporal evidence. We identify a temporal generation gap: the internal attention of the model localizes the target moment more accurately than the timestamps it generates. To close this gap, we propose TACG (Temporal Attention-Consistency Grounding), a post-training method that treats internal attention as a reliable temporal pivot and aligns it with both the model prediction and the ground-truth annotation through attention-consistency training. We further build a 580K-sample training dataset by reconstructing temporal QA from dense audio-visual annotations and organizing general omni-modal instruction data. Using TACG and this training dataset, we train OmniGround, a general-purpose omni-modal model with stronger temporal grounding capability, without injecting any additional temporal cues. OmniGround reaches state-of-the-art omni-modal temporal grounding, including 37.5 mIoU on LongVALE and 35.7 mIoU on UnAV-100, while staying competitive on both general audio-visual understanding and vision-only grounding.