Towards Fine-grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt

📄 arXiv: 2604.13715v1 📥 PDF

作者: Yanfeng Shi, Pengfei Cai, Jun Liu, Qing Gu, Nan Jiang, Lirong Dai, Ian McLoughlin, Yan Song

分类: cs.SD, cs.AI

发布日期: 2026-04-15

备注: Submitted to Interspeech 2026

💡 一句话要点

提出音频侧时间提示以解决音频语言模型的时间感知问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频语言模型 时间感知 强化学习 音频事件检测 密集音频字幕 时间对齐 多模态学习

📋 核心要点

  1. 现有的大型音频语言模型在时间感知方面存在不足，无法准确推断事件的开始和结束，限制了其在细粒度应用中的有效性。
  2. 本文提出了音频侧时间提示，通过将时间戳嵌入音频特征序列中，结合强化学习优化时间对齐性能，提升模型的时间感知能力。
  3. 实验结果显示，TimePro-RL在音频定位、声音事件检测和密集音频字幕等任务上显著提升了性能，验证了该方法的有效性。

📝 摘要（中文）

大型音频语言模型（LALMs）在音频理解方面表现出色，但在时间感知（如事件的开始和结束推断）方面仍面临挑战，限制了其在细粒度场景中的应用。为了解决这一问题，本文提出了音频侧时间提示，并利用强化学习（RL）开发了TimePro-RL框架，以实现细粒度的时间感知。具体而言，我们将时间戳编码为嵌入，并将其与音频特征序列交错作为时间坐标来提示模型。此外，我们在监督微调（SFT）后引入RL，以直接优化时间对齐性能。实验结果表明，TimePro-RL在音频定位、声音事件检测和密集音频字幕等多个音频时间任务中取得了显著的性能提升，验证了其强大的有效性。

🔬 方法详解

问题定义：本文旨在解决大型音频语言模型在时间感知方面的不足，尤其是在推断事件的开始和结束时的准确性问题。现有方法在细粒度场景中的应用受到限制，无法满足实际需求。

核心思路：论文提出了音频侧时间提示的概念，通过将时间戳作为嵌入与音频特征序列交错，形成时间坐标来提示模型，从而增强模型的时间感知能力。结合强化学习的优化策略，进一步提升时间对齐的性能。

技术框架：整体架构包括两个主要阶段：首先进行监督微调（SFT），然后引入强化学习（RL）进行优化。时间戳嵌入与音频特征的交错处理是核心模块，确保模型能够有效利用时间信息。

关键创新：最重要的技术创新在于音频侧时间提示的提出及其与强化学习的结合。这一方法与现有的时间感知技术相比，能够更好地处理时间信息的嵌入和优化，显著提升了模型的性能。

关键设计：在设计中，时间戳被编码为嵌入向量，并与音频特征序列交错。损失函数的设计考虑了时间对齐的准确性，强化学习的策略则针对时间感知的优化进行了特别调整。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，TimePro-RL在音频定位、声音事件检测和密集音频字幕任务上相较于基线模型实现了显著的性能提升，具体提升幅度达到XX%（具体数据未知），验证了该方法的有效性和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括音频事件检测、音频定位和密集音频字幕生成等。通过提升音频语言模型的时间感知能力，可以在智能监控、自动化音频分析和多媒体内容生成等领域发挥重要作用，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large Audio-Language Models (LALMs) enable general audio understanding and demonstrate remarkable performance across various audio tasks. However, these models still face challenges in temporal perception (e.g., inferring event onset and offset), leading to limited utility in fine-grained scenarios. To address this issue, we propose Audio-Side Time Prompt and leverage Reinforcement Learning (RL) to develop the TimePro-RL framework for fine-grained temporal perception. Specifically, we encode timestamps as embeddings and interleave them within the audio feature sequence as temporal coordinates to prompt the model. Furthermore, we introduce RL following Supervised Fine-Tuning (SFT) to directly optimize temporal alignment performance. Experiments demonstrate that TimePro-RL achieves significant performance gains across a range of audio temporal tasks, such as audio grounding, sound event detection, and dense audio captioning, validating its robust effectiveness.