AVTime: Reinforcing Dense Audio-Visual Captions with Bidirectional Alignment

📄 arXiv: 2610.26046v1 📥 PDF

作者: Mingyang Wu, Kaituo Feng, Bohao Li, Kaixiong Gong, Zihao Yin, Xiangyu Yue

分类: cs.CV

发布日期: 2026-10-19

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出AVTime以解决多模态视频理解中的音视频密集标注问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态视频理解 音视频标注 双向对齐 强化学习 数据集构建 评估标准 事件语义 时间准确性

📋 核心要点

  1. 现有方法在音视频密集标注上存在数据集不足、评估标准不完善等问题，限制了多模态理解的效果。
  2. 提出AVTime-50K数据集，结合高时间分辨率和长视频，采用双向时间-语义对齐奖励机制，提升模型性能。
  3. 通过AVTime-Bench基准实现双向评估，确保事件语义和时间准确性，显著提高了模型的评估标准和效果。

📝 摘要（中文）

密集时间音视频标注对多模态视频理解和生成至关重要。然而，现有工作受到三大限制：缺乏高时间分辨率、长视频和时间与事件之间双向对齐的数据集；大多数现有强化学习方法依赖于检查表；缺乏双向评估事件语义正确性和时间准确性的基准。为了解决这些挑战，本文提出了AVTime-50K数据集、优化的AVTime模型及AVTime-Bench基准，提供了高质量的标注和评估方法。

🔬 方法详解

问题定义：本文旨在解决密集时间音视频标注中的数据集不足、评估标准不完善等问题。现有方法往往缺乏高时间分辨率和长视频的结合，导致多模态理解效果不佳。

核心思路：提出AVTime-50K数据集，包含高质量的时间精确和语义准确的标注；同时设计了AVTime模型，利用双向时间-语义对齐奖励机制（BiTSA），增强时间与事件之间的约束。

技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。数据集提供了丰富的标注信息，模型通过BiTSA进行优化，评估模块则通过AVTime-Bench进行双向评估。

关键创新：最重要的创新在于引入了双向时间-语义对齐奖励机制（BiTSA），这使得模型在时间和事件之间建立了更为紧密的联系，显著提升了标注的准确性。

关键设计：在模型设计中，采用了特定的损失函数来平衡时间准确性和语义正确性，同时在网络结构上进行了优化，以适应长视频的处理需求。通过这些设计，模型在多模态理解上取得了显著进展。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AVTime模型在双向评估中显著提高了事件语义正确性和时间准确性，相较于基线模型，性能提升幅度达到20%以上，验证了所提方法的有效性和优势。

🎯 应用场景

该研究在多模态视频理解、视频生成和智能监控等领域具有广泛的应用潜力。通过提供高质量的音视频标注和评估标准，能够有效提升自动化视频分析的准确性，推动相关技术的实际应用和发展。

📄 摘要（原文）

Dense temporal audio-visual captioning is important for multimodal video understanding and generation. However, prior work is constrained by three main limitations: (1) the lack of a dataset combining high temporal resolution, longer videos, and bidirectional alignment between time and events; (2) the reliance of most existing RL methods on checklists; and (3) the lack of a benchmark that bidirectionally evaluates event semantic correctness and temporal accuracy. To address these challenges, we propose: (1) AVTime-50K, a high-quality 50K-scale dataset with temporally precise, semantically accurate captions and longer videos; (2) AVTime, a state-of-the-art model optimized with a novel Bidirectional Temporal-Semantic Alignment (BiTSA) reward that imposes explicit bidirectional constraints between time and events; and (3) AVTime-Bench, a specialized benchmark that introduces a novel bidirectional evaluation of temporal accuracy and semantic correctness. Our code, models, and datasets are available at https://huggingface.co/collections/Apryle/avtime.