Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding

📄 arXiv: 2606.06991v1 📥 PDF

作者: Zhenyu Yang, Kairui Zhang, Shengsheng Qian, Weiming Dong, Changsheng Xu

分类: cs.CV, cs.AI

发布日期: 2026-06-05

💡 一句话要点

提出Streaming Video-Language Synchrony以解决实时视频理解中的同步问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频理解 语言生成 流媒体同步 多模态学习 实时处理 人机交互 深度学习

📋 核心要点

  1. 现有在线视频理解模型在生成响应时会暂停视频感知，导致视频语言同步性差，影响用户体验。
  2. 本文提出Streaming Video-Language Synchrony（SVLS）范式，开发了LyraV助手，通过FDTC和SToP模块实现实时视频语言同步。
  3. LyraV在五个在线和三个离线基准上进行实验，显示出98.29%的同步性和3.89 FPS的实时处理速度，显著提升了叙事流畅性。

📝 摘要（中文）

在线视频大型语言模型（Video-LLMs）在逐帧处理和主动响应方面取得了进展，但在流媒体场景中仍面临挑战：现有模型在生成响应时通常会暂停视频感知，导致视频语言同步中断。为此，本文提出了一种新的在线视频理解范式：Streaming Video-Language Synchrony（SVLS），并展示了基于分层控制框架构建的实时助手LyraV。LyraV的两个核心创新是：第一，Frame-Driven Transition Controller（FDTC），一种无训练的基于验证的有限状态机，负责高层语义决策；第二，Streaming Token Pacer（SToP），一个轻量级的预测模块，动态调整语言生成速率以匹配视觉内容的节奏。实验表明，LyraV在保持理解能力的同时，显著提高了流媒体同步性和叙事流畅性。

🔬 方法详解

问题定义：本文旨在解决在线视频理解中视频与语言生成的实时同步问题。现有方法在生成语言时会暂停视频感知，导致用户体验不佳。

核心思路：提出Streaming Video-Language Synchrony（SVLS）范式，通过分层控制框架实现视频与语言的无缝交互，确保在生成语言时不影响视频感知。

技术框架：LyraV的整体架构包括两个主要模块：Frame-Driven Transition Controller（FDTC）和Streaming Token Pacer（SToP）。FDTC负责高层决策，而SToP则动态调整语言生成速率。

关键创新：FDTC作为无训练的有限状态机，能够实时做出语义决策；SToP则是一个轻量级的预测模块，确保语言生成与视觉内容的节奏匹配。这些创新使得LyraV能够实现逐帧增量解码，避免了完整句子的阻塞。

关键设计：LyraV采用逐帧增量解码策略，在每个帧间隔内仅生成少量令牌，确保实时性。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LyraV在五个在线和三个离线基准上进行的实验显示，其与视频播放的同步性达到98.29%，实时处理速度为3.89 FPS，显著提高了叙事流畅性，相较于现有模型有显著提升。

🎯 应用场景

该研究的潜在应用领域包括在线教育、实时翻译、视频监控等场景，能够提升人机交互的流畅性和自然性。随着技术的进步，LyraV有望在多模态理解和实时响应中发挥更大作用，推动智能助手的发展。

📄 摘要（原文）

Online Video Large Language Models (Video-LLMs) have advanced toward seamless human-AI interaction through frame-by-frame processing and proactive responding. However, a critical challenge remains in streaming scenarios: existing models typically pause video perception while generating responses, breaking real-time video-language synchrony and causing stutters. To address this, we introduce a novel paradigm for online video understanding: Streaming Video-Language Synchrony (SVLS), and present LyraV, a live streaming assistant built upon a hierarchical control framework with two core innovations. First, the Frame-Driven Transition Controller (FDTC), a training-free verification-based finite-state machine, makes high-level semantic decisions on when to continue speaking, start a new response, or stay silent. Second, the Streaming Token Pacer (SToP), a plug-and-play lightweight predictive module, dynamically adapts the language generation rate to match the pace of the visual content. Concretely, LyraV performs \emph{per-frame incremental, sub-budget decoding}: within each frame interval it emits only a small chunk of tokens that fits the real-time budget, so perception is never blocked for a full sentence. Together, these components enable LyraV to seamlessly interleave incoming video frames with generated word tokens, achieving a fine-grained synchrony. Extensive experiments conducted on five online and three offline benchmarks demonstrate that LyraV preserves the backbone's general understanding ability while substantially improving streaming synchrony and narrative fluency, delivering a 98.29\% synchrony with video playback and a real-time processing speed of 3.89 FPS. Interestingly, we observe an empirical capability in LyraV: dynamic reasoning over streaming tokens, enabling continuous interpretation and "thinking" alongside visual input.